论文部分内容阅读
在这个信息快速增长的时代,越来越多的实际问题需要依靠数据分析去解决,而问题相关的数据量也越来越大。此时,能够处理大规模数据的统应用统计和机器学习方法就显得格外重要。交替方向乘子法(the Alternating Direction Method of Multipliers;ADMM)是一个在应用统计和机器学习领域的常用算法,它能够将大型问题分解为可数个子问题,利用分布式系统实现大数据问题的求解。依靠针对大规模数据计算的优势, ADMM算法近年来成了一个研究热点。原始的ADMM算法是用来解决目标函数为两部分的凸优化问题。然而,很多实际问题所涉及到的凸优化问题,目标函数由三个及以上的部分组成,这样就出现了针对多分块凸优化问题的ADMM推广算法。本文总结了两种ADMM推广算法(DADMM, BADMM)的原理及其收敛性结论,在此基础上提出了一个新的针对多分块凸优化问题的ADMM推广算法——TADMM(Triple-group extension Alternating Direction Method of Multipliers for Multiple-block Convex Programming),讨论了它的收敛性情况,给出了一个收敛充分条件——存在两个分组后的系数矩阵正交。新的算法保持了BADMM的优势,并且能在目标函数分组时提供更多的选择。在数值试验中,选择了两个多分块凸优化问题对算法进行试验,其中算例1为图像修复领域的常用模型。实验结果显示:相对于BADMM算法,TADMM算法在收敛速度和收敛精度上有一定的优势。最后,论文总结了新算法的特点,并对未来的研究工作进行了展望。