大规模二次规划和稀疏优化的分片线性同伦路径跟踪方法和分解技术

来源 :大连理工大学 | 被引量 : 1次 | 上传用户:YWJJK
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
二次规划和稀疏优化是两类重要而基本的优化模型,在科学、工程与经济的很多领域中具有重要的应用,其数值解法研究是数值代数与优化的重要研究课题.尽管关于这两类问题解法的研究已取得了丰富的研究成果,但由于计算机和信息采集技术的不断升级,计算和信息技术的进步,特别是机器学习和大数据技术的飞速发展和应用普及,实际问题的规模越来越大,因此大规模二次规划和稀疏优化问题的高效率解法研究仍是具有挑战性的热门课题.本文对大规模二次规划和稀疏优化问题的分片线性同伦路径跟踪方法、分解技术、预热技术、邻近点方法进行了深入系统的研究,提出了一些解大规模二次规划和稀疏优化问题的高效率算法.在第一章,我们简要地介绍了二次规划和稀疏优化问题的数值解法的研究背景和现状.在第二章,我们在参数积极集方法的基础上,提出了APG预热技术、ε-精度检验和校正技巧和快速Cholesky更新技巧,给出了解强凸箱型约束二次规划问题的一种新的分片线性同伦路径跟踪方法.数值实验结果显示,该方法比已有的先进算法更加高效,并且对于病态问题表现出了较强的鲁棒性.我们证明了求解非凸箱型约束二次规划的邻近点算法在概率1的意义下Q-线性收敛到一个局部极小点,并给出了收敛因子的估计.基于该收敛性分析,我们提出了一个加速邻近点方法.数值实验结果显示,相比邻近点方法,加速邻近点方法的加速效果非常明显.结合解邻近点子问题的分片线性同伦路径跟踪方法,我们给出了解非凸箱型约束二次规划问题的加速邻近点同伦(APP-Hom)方法.数值实验结果显示,APP-Hom算法相比现有的先进算法具有非常明显的优势.因为直接将分片线性同伦路径跟踪方法推广到一般二次规划时,效果并不理想,在第三章,我们提出了解一般凸二次规划问题的邻近增广拉格朗日同伦(PAL-Hom)方法.该方法采用分片同伦路径跟踪方法求解邻近增广拉格朗日子问题,能够有效地利用分片线性同伦路径跟踪方法和增广拉格朗日方法的优点.数值结果显示,该方法在求解稠密的、等式约束少以及解的自由变量少的问题上表现优异,比内点法更加高效,并比积极集法和参数积极集法更加稳定有效.第四章,为求解SVM中的大规模二次规划问题,我们提出了一个高效的全局收敛的邻近随机块坐标极小化增广拉格朗日同伦(PSBCM-ALH)方法.我们通过高效的启发式块坐标更新策略,将大规模二次规划问题分解成一序列小规模的强凸二次规划子问题,并用增广拉格朗日同伦算法求解每个子问题.利用解的稀疏性和子问题的相似性,设计了一个收缩技巧和一个自适应参数学习技巧,提高了算法的效率和稳定性.证明了算法训练线性SVM的时间复杂度是线性的,非线性SVM的时间复杂度是二次的.数值实验结果显示,相比著名的LIBSVM软件包,我们的方法在训练大规模线性SVM和非线性SVM都具有非常明显的优势;此外,在训练大规模线性SVM时,我们的方法与先进的线性SVM训练器LIBLINEAR相比具有很强的竞争力.在第五章,我们考虑稀疏优化的高效率解法,提出了求解大规模LASSO问题的邻近块坐标极小化ι1-同伦(PBCM-ι1-Hom)方法和求解ι1-2极小化问题的邻近块坐标DCA ι1-同伦(PBCDCA-ι1-Hom)方法.这两个方法充分利用了稀疏优化问题的解的稀疏性以及问题的可分解结构,每次只需要求解小规模的强凸ι1正则极小化子问题.我们证明了,基于精心设计的块坐标更新方式,它们分别收敛到LASSO问题的最优解和ι1-2极小化问题的KKT点.此外,我们引入了参数自适应更新技巧和收缩技巧,提高了算法的效率.数值结果显示,与现有的先进算法相比,我们的算法在时间效率空间效率都具有明显的优势.
其他文献
在四球试验机上研究了含超细聚四乙烯粉(平均粒径在1μm左右)的润滑油摩擦磨损特性。结果表明加入1w%的超细聚四氟乙烯粉即可改善20号机械润滑油的抗磨减摩性能。这种作用效果的发挥依
作为辅助领导的工作人员,秘书起着沟通上下的桥梁作用。由于缺乏经验,秘书新人往往不能适应这种角色需要。在秘书工作中,秘书新人应注意“三要三忌”。一要更正观念,调适心态
个别前牙腭向错位既影响美观又影响功能,由于正畸治疗所需时间较长,费用较高,临床应用受限;通过烤瓷冠修复也因为要磨切部分牙体组织,甚至失活牙髓利用桩核改变覆牙合覆盖而
有机碳含量(TOC)是常用的有机质丰度评价指标,目前测井评价有机碳含量的方法有很多,分别根据不同的测井曲线与烃源岩中TOC的相关关系,计算得到烃源岩有机碳含量。其中由于ΔlgR
综述了超声波技术在油脂提取、油脂精炼、油脂深加工和油脂检测中的应用,并指出了存在的问题。
研究了以工程造价为目标函数的高桩梁板式码头的优化设计模型,采用动态规划法、搜索桩数最少法、穷举法等优化策略,通过具体算例对码头整体布置和局部构件进行优化,提出了优
伴随我国高校招生规模扩大,高校内体质弱势群体学生,即身体残疾、患病、术后康复、体测不合格且体质超重或肥胖以及体质偏瘦学生占有相当比例。为了落实全纳教育理念,促进高校体育课程改革,构建公平、和谐校园,推动健康中国2030规划实施,以及全面小康社会进程,关注高校体质弱势群体体质健康问题,开展该群体体质健康促进研究具有很强的社会价值和意义。本文基于格林健康模式,运用文献资料法、访谈法,问卷调查法,实验法
人是智慧的载体,社会宝贵的财富。经济建设的发展,企业效益的提高,人才是关键。邓小平同志指出,没有人才,什么事情也搞不好。在化工企业中各类专业技术人员担负着生产经营管
<正> 电缆故障测试的方法目前可分两大类:一类是大致测定故障点位置的粗测法(如脉冲回波法、高压冲击法、驻波法等),另一类是精确确定故障点距离的精测法(如音频法、红外测温法
围海养殖是海水养殖的一种重要方式,在带来经济效益的同时,也给生态环境和周边居民带来了负面影响:养殖废水未经处理排放到周边海域对海水的污染;养殖废料堆积对空气的污染;养殖行为对周边居民日常生活的影响等。传统的围海养殖模式中,养殖者在进行养殖决策时只考虑了围海养殖带来的经济利益,而忽略了这些负面影响,并未将这部分负外部性纳入养殖成本中。界定和量化围海养殖的外部性,并通过手段将其内部化,迫使养殖者将环境