论文部分内容阅读
最优化是一门应用性很强的学科,近年来,随着计算机的发展以及实际问题的需要,大规模优化问题越来越受到重视.共轭梯度算法是最优化中最常用的方法之一,它具有算法简单、存储需求少、易于实现等优点,十分适合于大规模优化问题.
非线性共轭梯度算法已有50多年的历史,最早是由计算数学家Hestenes和几何学家Stiefel为求解线性方程组Ax=b,x∈Rn而独立提出的较著名的有FR方法、PRP方法、HS方法和LS方法等.非线性最优化的共轭梯度算法的收敛性分析,也就是讨论各种共轭梯度算法在不同线搜索下的收敛性质.早期工作主要由Fletcher、Powell、Beale等学者给出的,后来Nocedal、Gilbert、Nazareth、Al-Baali、Storey等学者在收敛性方面得到不少新结果,我国学者戴阈虹、袁亚湘、韩继业、刘光辉、王长钰、连淑君、时贞军、韦增欣等也得到了不少新成果.每种经典的非线性共轭梯度算法都有各自的优缺点,为了结合各种方法的优点,混合非线性共轭梯度算法应运而生.也有很多学者研究超记忆梯度法等.
本文主要研究求解无约束优化问题的非线性共轭梯度算法,并讨论这些方法的全局收敛性和数值表现,从对各个经典方法的收敛性分析希望找到收敛性和数值表现更好的方法,本文从βκ和ακ的构造出发得到了一些较好的结果.
本文的结构如下:
第一章对最优化方法进行了简单的介绍,并介绍了本文所要研究的问题、背景、已有结果以及共轭梯度算法的研究现状.
第二章在CD方法的基础上拓展了CD方法的适用范围,得到一簇共轭梯度下降法,且给出了充分下降性和全局收敛性的证明.数值试验说明在拓展的范围内该方法是适用的.
共轭梯度算法对一般函数来说,其收敛性是有条件的,不少学者采用不同的方法对其收敛性进行研究.第三章主要提出了共轭梯度算法全局收敛的一个充分条件,与以往为数不多的此类充分条件的研究相比该充分条件更直观,更易于验证.另外还构造了满足此充分条件的βκ,数值试验说明该方法是有效的. 第四、五章分别提出了一种新Armijo型线搜索,此线搜索能够使LS方法、WYL,方法找到合适的初始步长,从而使LS方法、WYL方法更好的运行.并研究了LS方法、WYL方法在此线搜索下的全局收敛性和数值表现.