【摘 要】
：
为满足大规模机器学习系统高定制化、低耦合与低资源消耗的需求,设计并实现一个轻量级分布式机器学习系统。采用模块化分层设计并移植多种主流的机器学习与深度学习算法,同时
【机 构】
：
中国科学院计算机网络信息中心,中国科学院大学计算机科学与技术学院
【基金项目】
：
中国科学院“十三五”信息化重大专项“中国科学院科研教育态势感知服务”(XXH13504-03)
论文部分内容阅读
为满足大规模机器学习系统高定制化、低耦合与低资源消耗的需求,设计并实现一个轻量级分布式机器学习系统。采用模块化分层设计并移植多种主流的机器学习与深度学习算法,同时提出参数服务器与动态Ring-AllReduce 2种可扩展梯度同步方案,对算法模型进行并行训练加速。实验结果表明,该系统对于稀疏与稠密模型均有较好的扩展性与稳定性,参数服务器训练可达到与单机相近的准确率与收敛效果,Ring-AllReduce也能在8节点模型上实现相对单节点模型6倍的训练加速。
其他文献
针对航天器火工品点火电路误触发防护设计要求,通过增加电路的噪声抑制、脉冲干扰抑制及上电配置保护功能。提高了电路的抗电磁干扰能力和上电配置过程保护能力。仿真及试验
伊壁鸠鲁和马克思在坚持唯物主义的基础上,阐述了各自的幸福观。二者考察的视角不同,但是在对幸福的觉解上,却有着极大的相似性,同时差异也十分明显。对伊壁鸠鲁和马克思的幸
<正>一、问题的提出当前,中国正处于网络信息化深入发展的历史进程中,思想政治教育的时代背景和条件发生了巨大的变化,特别是建立在网络基础上的新媒体的普及对传统教育方式
在新媒体飞速发展的态势下,虽然传统媒体表现出了势弱的局面,但其价值和作用还在继续发挥,为此尽可能的提升传统媒体的质量是其价值保持需要采取的必要措施。报纸是传统媒体
受全球气候变暖的影响，我国的气候变化也非常明显，气候事件和灾害的频率和强度增加，给人们的生产生活造成了十分不利的影响。应对气候变化的有效途径是发展低碳经济，它需要政府、
设计伦理学是伦理学的一个分支,也是设计艺术学的组成部分,是设计领域重要的指导理论。当前,老龄化社会来临,促使老年群体对银色产品(老年产品)的需求量不断增长。为了使设计
专业的警务危机谈判支持系统（CNSS）在国外发展已经多年，而国内的谈判机制与装备发展刚刚起步，专业设备技术应用处于初级阶段，上升空间广阔。
Sc在提高Al-Mg系合金的强度、焊接性能和塑性的同时,也可以改善合金的耐腐蚀能力。为此我们采用球形模的试验方法研究了Al-Mg-Sc系1570合金的可旋性。试验结果表明：只有在保证
还记得2年前,“度秘”刚发布的时候,那时才大三,感觉百度发布的“度秘”机器人好厉害,天文地理无所不知。但那时的“度秘”也仅仅是个加强版的“微软小冰”,只不过是连接了更
在汽车空调制冷系统的普通模糊控制的基础上,引入了自适应模糊控制.采用自调整因子的办法来改善控制规则,实验结果显示控制效果明显优于一般模糊控制.