基于解析优化方法的神经网络学习算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:hhttllzzwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络的应用已广泛渗透到生命科学和工程科学等诸多领域,随着学习算法理论的研究逐渐深入,在智能控制、模式识别、优化计算、机器视觉和生物医学等方面取得了许多成果。然而经典的学习算法存在收敛速度慢,算法不完备、易陷入局部极小点等缺点,且难以处理大规模学习样本。鉴于此,本文将基于解析优化方法对神经网络学习算法进行研究。首先通过构造隐含层中间值的近似,将一种基于线性最小二乘的快速学习算法从单层神经网络推广到多层神经网络,数值试验表明新算法适用于大规模样本的学习,具有迭代初期学习误差下降迅速的特点,使训练速度显著提高。进而我们根据无约束优化的调比方法,通过构造新的自调比因子和共线调比因子,分别得到一类新的自调比BFGS算法和共线调比BFGS算法。我们给出了新算法的全局收敛性证明,对基于新算法的神经网络学习算法进行了数值试验和分析,结果表明新算法具有更好的性能和数值稳定性。本文最后给出了用Matlab实现的算法工具包。
其他文献
本文主要研究由导数算子和复合算子的乘积所构成的两类算子在若干解析函数空间上的紧性问题.  第1章概述了算子理论的发展历史,重点介绍了与本文密切联系的几类算子的具体
图像采样是计算机图形学中的重要课题,当今已经产生了很多经典的采样理论与方法.图像存储与处理技术的广泛需求,驱使着信号采样到图像采样的发展.在经典的Shannon采样理论中,
学位
近年来,汽车数量逐年增加,汽车普及率逐年提高,无论是在保险业发达的西方国家还是保险业相对落后的我国,汽车保险已经成为现代保险业的重要险种之一,已经占据保险业务的半壁
本文研究内容为用基于新的概率分布集的分布鲁棒优化方法研究不确定情形下的Weber选址问题,并通过数值实验表明我们的方法比常用的Min Max-Regret方法好,同时适当增大?时所需
风险理论主要研究保险事务中的随机风险模型,是近代应用数学的一个重要分支,也是当前精算学界的热门课题.经典的风险理论主要通过概率论和随机过程理论来研究风险模型的盈余过