基于分数阶微积分理论的卷积神经网络动量优化方法研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:qwertyuiopgfdsah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在图像识别技术领域,图像识别精度和收敛速度是验证图像是否有效识别的关键指标.为了有效提高神经网络的识别精度和收敛速度,需要提升卷积神经网络(Convolutional Neural Network,CNN)的网络参数调整的自适应性、稳定性以及灵活性.本文主要针对随机经典动量(Stochastic Classical Momentum,SCM)算法和自适应矩估计(Adaptive Moment,Adam)算法的自适应性、稳定性以及灵活性不足的问题,利用不同的分数阶运算方法建立基于分数阶微积分理论的神经网络动量优化方法,并完成了以下几方面的工作:(1)提出了一种基于Grünwald-Letnikov(G-L)差分的分数阶动量CNN参数训练方法.为了更稳定的更新CNN的参数,提出一种基于分数阶动量的网络参数训练方法.该方法基于G-L差分运算,通过将分数阶差分替换整数阶差分,对SCM算法和Adam算法进行了改进.同时,讨论了线性分数阶阶次调节方法和非线性分数阶阶次调节方法.因此,本文提出的方法可以提高CNN参数的灵活性和自适应能力.(2)对于基于G-L差分的分数阶动量CNN参数训练方法,通过对历史动量信息进行有效的截断,并选取适当的阶次取值区间,同时采用不同的自适应调节方法对阶次进行调节.以MNIST数据集和CIFAR-10数据集为输入样本,对模型的有效性进行了分析.与SGD算法和Adam算法相比,所提出的分数阶SCM算法和分数阶Adam算法可以提高CNN的识别精度和学习收敛速度.(3)提出基于Hausdorff差分的CNN参数训练方法.为了提升CNN训练的稳定性和自适应性,提出一种基于Hausdorff差分运算的参数训练方法,自适应地调节动量和学习率,对SCM算法和Adam算法进行了改进,用Hausdorff差分代替整数阶差分.同时,讨论了两种非线性自适应调节方法来调节阶次.因此,通过保留动量信息和自适应调整学习率来稳定训练CNN,增强了CNN参数更新的稳定性和自适应性.(4)对于基于Hausdorff差分的CNN参数训练方法,通过阶次对动量信息的影响程度进行分析,确定了适当的阶次取值区间,并根据网络参数的更新对阶次进行自适应调节.同时,采用Fashion-MNIST数据集和CIFAR-10数据集进行实验,对所提出优化方法的有效性进行了分析.与整数阶差分SGD算法和Adam算法相比,所提出的基于Hausdorff差分的CNN参数训练方法改善识别精度和学习收敛速度.
其他文献
新经济、新业态是近几年全国两会的热门话题,反映了当前的经济形态,也代表着未来一段时间经济发展的风向标。全国两会代表、委员对新经济、新业态的立法建议、提议,指出了行业痛点所在,也为行业良性发展提供了指引,并成为立法者或立法机关重要而宝贵的民声渠道。《法人》记者梳理发现,今年全国两会期间,加强对新业态从业者的法律保障体系建设以及完善数字经济领域的立法规制,成为不少代表委员关注的领域。
期刊
随着人口红利的消失,"人才"逐渐成为各城市争夺的焦点,各大城市抢人的竞争愈加激烈。苏州工业园区作为全国首个开放创新综合试验区域,近年来出台了多项面向人才的优惠政策,其中优租房的建设已经走在全国前端,具有十分重要的借鉴意义。本文通过梳理苏州工业园区的人才公寓政策,分析目前优租房的总体概况、管理体系以及周边环境,并从租金与管理、设施与环境、供需矛盾和公平分配四个方面,归纳苏州优租房的潜在风险,提出相应
随着经济社会发展以及乡村振兴战略的全面推进,越来越多的社会力量开始参与到乡村治理当中,乡村治理以党政为主的局面悄然发生变化,治理主体多元化成为未来乡村治理的发展趋势。因此,如何形成乡村治理主体多元化格局,以实现人民群众的自我管理、自我约束、自我规范,备受社会关注。健全以自治、法治、德治为主要内容的“三治融合”的乡村治理体系是加快和推进乡村治理体系和治理能力现代化的重要内容。“三治融合”通过将自治、
中国普天"服务公社"破冰数据壁垒,优化并完善"互联网+政务服务",推动政务服务"一网通办"迈向"一网好办"。"服务公社"是中国普天所属企业普天和平与重庆永川区政府共同打造的互联网+智慧政务便民综合服务政务大数据平台。平台借鉴快递行业包裹分发流程,采用大数据AI标记技术和数据机器人技术,创新首推"数据快递小哥",疏通"跨专网数据通道",通过自研技术对政务服务事项进行颗粒化深度分解和梳理,
期刊
目的:分析自我行为与饮食护理干预对幽门螺旋杆菌感染患者自我效能与预后的影响效果。方法:从我院收治的幽门螺旋杆菌感染患者中选择了120例为研究对象,分成对照组和观察组。对照组应用常规模式的护理,观察组应用自我行为与饮食干预的护理,对比两组患者的护理效果,分析两组患者接受护理后的依从性。主要针对合理用药、戒烟戒酒、分餐和少量多餐的依从性进行对比。结果:观察组患者护理效果明显好于对照组,两组比较存在差异
结构的变形是结构设计中一项重要指标,关系到整个结构的安全性与舒适性,其中厂房设计中结构变形尤为重要。目前,我国现有规范仅对部分结构形式的排架厂房变形做出明确规定,且很少考虑结构整体性变形的影响。为研究结构整体性对厂房纵向与横向变形的影响,本文基于工程检测实例,采用有限元方法,分别建立空间厂房模型与平面厂房模型进行分析。结果表明:在风荷载或吊车荷载单独或同时作用时,如果空间效应不明显,则两种模型侧移
随着计算机技术的日趋成熟,计算机辅助药物设计已经普遍应用于人们的日常生活中。应用计算机技术可以提高实验成功率,并且能节省大量的时间、资金以及劳动力,为新药研发提供了更广阔的空间。目前,使用计算机辅助药物设计已经成为当今社会人类健康的研究热点。因此,本研究基于化合物的结构使用机器学习算法,以目前有机化合物致心脏毒性为研究对象,建立一个新的预测效果更准确的化合物致心脏毒性预测模型。在预测有机化合物致心
网络舆情包含用户对于诸多社会现象与热点问题的看法与思考,而社交网络是舆情内容产生与传播的重要载体。基于在线社交网络的舆情信息的产生与传播具有以下三个特点:一,在线社交网络的准入门槛较低,用户生产舆情信息所需的时间和空间成本较低;二,社交网络的特性决定了舆情信息可以在网络中快速传播;三,广大用户群体对于虚假舆情内容的辨识能力参差不齐,使得虚假舆情信息在网络平台中快速传播。因此,研究在线社交网络中舆情
随着矿井开采深度的增加,煤矿震动灾害愈发频繁。一旦发生震动灾害,便会在很短的时间内直接毁掉矿井下相关巷道甚至整个工作面,造成设备损坏,及人员伤亡。煤矿震动灾害具有触发时间短、空间定位困难等特点,需要实时监测微震数据判识灾害并快速实现灾害定位,为开展后续救援工作提供支持。依靠先进的信息技术与感知技术,处理震动灾害监测成为研究的热点,因此,针对这些问题,本文研究并实现了基于改进粒子群算法的煤矿微震定位