论文部分内容阅读
神经网络的应用已广泛渗透到生命科学和工程科学等诸多领域,随着学习算法理论的研究逐渐深入,在智能控制、模式识别、优化计算、机器视觉和生物医学等方面取得了许多成果。然而经典的学习算法存在收敛速度慢,算法不完备、易陷入局部极小点等缺点,且难以处理大规模学习样本。鉴于此,本文将基于解析优化方法对神经网络学习算法进行研究。首先通过构造隐含层中间值的近似,将一种基于线性最小二乘的快速学习算法从单层神经网络推广到多层神经网络,数值试验表明新算法适用于大规模样本的学习,具有迭代初期学习误差下降迅速的特点,使训练速度显著提高。进而我们根据无约束优化的调比方法,通过构造新的自调比因子和共线调比因子,分别得到一类新的自调比BFGS算法和共线调比BFGS算法。我们给出了新算法的全局收敛性证明,对基于新算法的神经网络学习算法进行了数值试验和分析,结果表明新算法具有更好的性能和数值稳定性。本文最后给出了用Matlab实现的算法工具包。