随着大数据时代人工智能领域的快速发展,机器学习成为现代科学不可或缺的技术,结构风险最小化作为机器学习的核心部分,涉及到复合函数优化问题的求解,寻找性能更好的优化算法来提高模型精确度成为了热门研究课题。本文主要介绍一种通用的拟牛顿加速算法,为了进一步提高其数值优化性能,结合自适应L-BFGS规则提出了自适应拟牛顿加速方案,通过数值实验来测试方案对复合函数的优化效果。整篇论文包含如下六章内容:第1章简单介绍了复合函数优化问题的背景及研究近况,包括针对复合函数提出的一阶优化和拟牛顿类算法、一阶方法的加速方案等。第2章回顾了复合函数优化中较为常用的随机梯度下降算法SAG和SVRG,以及标准BFGS算法和其变体L-BFGS等拟牛顿类算法的相关研究工作,详细介绍了自适应拟牛顿算法的更新规则。第3章主要介绍了Moreau包络线的定义和性质,以及在此基础上提出的近似点算法及其变体,总结了优化算法中常用的光滑技术。第4章详细介绍了QNing算法的具体步骤和相关参数,给出了算法收敛性和全局复杂度分析结果;将修正后的自适应拟牛顿法与QNing相结合,讨论加速方案对QNing算法性能的影响。第5章在含有不同正则化惩罚项的机器学习优化模型上进行数值实验,使用不同规模的机器学习数据集对自适应QNing算法进行评估,研究相关参数对算法鲁棒性的影响。实验表明该方案在某些情况下可以达到比其他方案更快的收敛速度,选择合适的正则项参数及光滑系数可以提高算法性能,适用于中低维的混合型数据集。第6章对全文所做的工作进行了总结,针对自适应拟牛顿加速方案的优点和不足之处做出合理评价,讨论相应的改进策略以及对自适应拟牛顿方法的展望。