基于历史梯度平均方差缩减的协同参数更新方法

来源 :电子与信息学报 | 被引量 : 1次 | 上传用户:petersainty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随机梯度下降算法(SGD)随机使用一个样本估计梯度,造成较大的方差,使机器学习模型收敛减慢且训练不稳定。该文提出一种基于方差缩减的分布式SGD,命名为DisSAGD。该方法采用历史梯度平均方差缩减来更新机器学习模型中的参数,不需要完全梯度计算或额外存储,而是通过使用异步通信协议来共享跨节点的参数。为了解决全局参数分发存在的"更新滞后"问题,该文采用具有加速因子的学习速率和自适应采样策略:一方面当参数偏离最优值时,增大加速因子,加快收敛速度;另一方面,当一个工作节点比其他工作节点快时,为下一次迭代采样
其他文献
工业无线网络技术是当前工业自动化领域关注的热点之一,工业无线网络包括多种设备类型。针对某个具体应用、不同的工业无线网络标准、不同公司的工业无线网络产品,组成工业无
在公路工程施工中,为了克服地形和高程上的障碍(如山梁、山脊、垭口等),以改善和提高拟建公路的平面线性和纵坡,缩短公路里程,或者为避免山区公路的各种病害(如滑坡、崩塌、岩堆、泥
针对正式开通服务的北斗三号(BDS-3)完整星座定位性能评估问题,基于多模全球卫星导航系统(GNSS)实验跟踪网(MGEX)的实测数据,采用自编软件分析了北斗二号(BDS-2)、BDS-3以及BDS-2/BDS-3组合的单点定位(SPP)精度。实验结果表明,BDS-3卫星可见数与BDS-2相当,但BDS-3的空间几何构型优于BDS-2,BDS-3三个频率对应方向的SPP精度要优于BDS-2,BDS
由于传统相关流量计测量精度易受外界条件影响,故系统采用参数估计实现渡越时间的计算。其主要思想是把测量值不断地逼近理论值,从而不断地修改数学模型中的参数;当参数确定后,计算流量值。系统采用多核处理器OMAP3530,提高系统的实时性。试验数据表明,采用参数估算法实现的互相关流量计具有精度高、实时性好等优点,并具有实际的工程应用价值。
工程实例某公路为双向四车道高速公路标准,设计计算行车速度80Km/h,路基宽度24.5m。桥梁设计荷载采用公路-I级,该桥梁梁部以装配式预应力箱梁为主,结构采取连续方式,每3~5孔为一联