一类平行原始对偶算法及其在鞍点问题中的应用

来源 :南京大学 | 被引量 : 0次 | 上传用户:tanchishe0000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文研究用平行原始对偶算法求解鞍点问题。原始对偶算法每一步更新原始变量和对偶变量。这样可以避免仅仅求解原始问题或者对偶问题带来的一些困难。例如全变差极小化问题,梯度下降算法对于原始函数的应用会产生困难,因为原始函数在解点不可微。Chambolle的方法解全变差去噪声的对偶问题非常有效,但是方法很难扩展到例如全变差去模糊等对偶问题更复杂的情况去。原始对偶算法在某种程度上可以解决这些困难。此外,原始对偶算法与现在流行的交替方向法相比,不需要引入辅助变量。方法不需要求矩阵的逆,而只需要线性算子和它的转置。这一优点在大规模问题上显得更加明显,因为大规模矩阵的求逆非常耗时。原始对偶混合梯度法是经典的求解鞍点问题的算法。可是像大部分原始对偶算法一样,算法加入如τσ≤1/||ATA||这样的限制才可以保证算法收敛。从而非常耗时的估算||ATA||是无法避免的。本文中,我们提出了一类平行原始对偶算法来求解鞍点问题。这些算法平行地迭代原始变量和对偶变量使得算法加速。如果采用分布式计算的技巧,收敛速率还可以进一步提高。不像大部分原始对偶算法,我们提出的所有算法(除了算法一)都不需要对步长参数στ加任何限制,从而也不需要线性算子A的信息。这一点非常重要,因为A的谱范数估计随着规模增长会变得非常耗时。我们先用提出的新算法求解两块的鞍点问题,然后我们将问题拓展到特殊的三块鞍点问题,其中一个目标函数有连续的Lipschitz梯度。我们采用变分不等式来研究新算法及其收敛性。我们提出的所有算法都有遍历意义下O(1/t)的收敛速率,其中算法一还有非遍历意义下的O(1/t)收敛速率。
其他文献
发达国家非常重视科学教育,将其与母语以及数学并列(而国内的科学教育一直是“副科”待遇,即使像高中的物理、化学等学科,也是比数学、语文、英语低一等的),并且有比较成功的经验,“
为了提高教师队伍的整体素质,1999年5月4日,山西省人民政府正式颁布了《山西省中小学教师继续教育规定》(以下简称《规定》),山西省的中小学教师培训工作开始步入法制化轨道
腺样体亦称咽扁桃体,位于鼻咽顶后壁中线处,为咽淋巴环的组成部分,在正常生理情况下,6岁~7岁发育至最大,青春期后逐渐萎缩,在成人则基本消失,若腺样体增生肥大,且引起相应症状
一中国文人向来具有理性精神,很少迷信色彩,孔子“不语怪力乱神”①,“敬鬼神而远之”②,闪烁的就是一种人文主义的精神。老庄更以为死亡不可避免,而大力弘扬自然之道,后来秦
人本管理是现代管理理论发展的重要思想之一,它建立在对人的“自我实现”人性假设之上,它研究的核心问题便是调动人的积极性.因此人本管理强调在各项工作中高度重视人的因素,
在《数字电子技术》教学中组合逻辑电路的设计是一部分重要的基础知识,它衔接了前面的组合逻辑电路的分析,又为后续的时序逻辑电路分析和设计打下坚实的基础。本文以一个任务
盐渍土具有特殊的工程特性,盐渍土地区公路边坡经常出现松胀、冲蚀、坍塌、起皮等病害,边坡土的流失极大地危害了整个道路结构。文章基于边坡处治的试验工程,提出了针对盐渍
目的对我院住院药房不适宜用药干预记录表的分析,促进临床用药的安全。方法采用回顾性分析方法,对我院住院药房2011年3月至2011年9月不适宜用药干预记录表进行统计,评价分析
冶金企业煤气系统有众多的危险源和危险因素,安全性要求极高。马钢能控中心的煤气安全管理工作主要从安全标准化、缺陷管理、技术创新、事故预案演练等四个方面入手,取得了一
对"分解纤维素的微生物的分离"实验方案进行了改进,使实验操作更可行、内容更充实、教学效果明显,达到了教学目的。