稀疏优化的非凸分段二次近似模型与算法研究

来源 :上海大学 | 被引量 : 0次 | 上传用户:zhongminghe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,在信号与图像处理,压缩感知,统计,机器学习,数据挖掘等领域涌现出了大量的稀疏优化问题,即其中的优化变量具有某种稀疏结构.利用稀疏结构不仅使得从少量数据中重建高维信号成为可能,更重要的是可以极大的加快大规模优化问题的计算速度.稀疏优化问题的一种主要求解思路是对模型进行松弛,而非凸松弛一般比凸松弛可以获得更高质量的稀疏解.非凸优化算法的迅猛发展,使得如何利用非凸松弛快速和准确地求解稀疏优化问题,成为一个热门的研究方向.随着大数据时代的来临,对大规模问题计算的要求不断增加,以加速梯度算法为代表的一阶算法,引起大量学者的广泛关注.自然地,加速梯度法被拓展到求解非凸优化问题,算法的收敛性也被证明.虽然许多实际的数值实验验证了加速梯度法的优越性,但是并没有理论结果表明,在求解非凸优化问题时加速梯度法要优于不加速的梯度法.因此,如何突破加速梯度法在求解非凸优化时的理论瓶颈,是一个富有挑战的问题.本博士学位论文主要探讨可以为稀疏优化模型提供更好的稀疏解的非凸松弛模型,利用模型特性设计求解算法及加速算法,致力于获得加速算法在求解非凸优化问题上的理论突破.本博士论文的主要结果和创新如下.采用极小化绝对残差近似的方法,提出Lo范数的新的非凸近似函数:分段二次近似函数.基于函数建立分段二次近似模型,根据模型特殊结构设计求解模型的迭代算法,以迭代点有界为假设条件证明迭代算法的收敛性和迭代复杂界,并通过选取模型的收缩参数控制算法产生的迭代点有界.信号恢复和图像处理的数值实验结果表明了分段二次近似模型的优越性和迭代梯度算法的有效性.利用相位图分析,更直观清晰的说明分段二次近似模型的优越性.在迭代算法的基础上,引入Nesterov的加速思想,改进Ghadimi和Lan求解非凸非光滑问题(包含分段二次近似模型)的加速梯度法,保证算法的迭代复杂界不变的前提下,每步迭代都减少一个凸优化子问题的求解,从而提高计算速率.利用分段二次近似模型对改进加速梯度法和迭代梯度算法进行测试,数值实验结果显示改进加速梯度法在求解大规模问题时计算效果要优于迭代梯度算法.其次,基于分段二次近似模型构造分段二次近似正则化模型.通过引入替代目标函数,求得分段二次正则化模型解的解析阈值表达式,提出阈值表示定理,建立阈值表达式的固定点与分段二次近似正则化模型极小值点之间的等价关系.利用阈值表示定理设计求解模型的迭代阈值算法,证明该迭代阈值算法具有线性收敛率,且收敛到分段二次近似正则化模型的极小值点.将加速思想引入到迭代阈值算法中,提出加速迭代阈值算法.应用矩阵不等式的知识,证明加速阈值算法收敛到模型的极小值点并具有线性收敛率,且比迭代阈值算法的线性收敛率更优.信号处理,图像恢复和图像去模糊的数值实验也验证了这一理论结果,并在数值实验中将分段二次近似正则化模型和L1,L1/2正则化模型进行比较,结果显示了分段二次近似正则化模型的优越性.
其他文献
本文以课堂教学实践及教学竞赛经验为依托,从教学思想与策略、课程主要内容分析说明、学生学情分析、课程整体设计思路、教学方法选用、教学评价方式等方面对高职《市场营销
目的了解山西省中小学生的营养状况,以便科学地指导学生保健工作。方法按有关标准对1995—2004年山西省监测点校的中小学生进行身高、体重测量,并评价其营养状况。结果山西省中
民间美术是高校美术研究的一个重要组成部分,对它的研究是高校义不容辞的学术责任。
以林蛙油为主要原料,添加由大枣、生姜、冰糖、蜂蜜调配的汤汁,经装罐、杀菌等工艺制成林蛙油罐头。对林蛙油罐头的生产工艺、配方等进行了研究。通过实验确定出林蛙油罐头的
对江西省23年生的186株高产脂湿地松和60株普通湿地松松脂成分进行测定比较和各组分相关性分析,结果表明:湿地松产脂力与单萜类组分总含量显著正相关(0.287 1),与二萜类组分总含
功能性透明导电薄膜在日常生活中日趋重要。研究了以二氧化锡为主的电热薄膜,包括其制备方法和性能表征,设计了四种体系的二氧化锡基薄膜,采用XRD、FT-IR、FE-SEM、HR-TEM、四探针测试仪和热功率测试仪对样品的物相、形貌、结构和性能进行表征,并深入探讨了材料的电热性能,具体内容如下:(1)以SnCl_4·5H_2O和SbCl_3为原料,无水乙醇作溶剂,溶胶-凝胶法制备SnO_2:Sb(ATO
近20年来,世界经济的发展发生了显著变化。其表现之一便是世界经济的全球化已日益明显。在世界范围的冷战时期已经结束、世界规模的经济竞争日趋激烈的情况下,人们更加重视
<正>每个儿童都是与众不同的个体,尊重每一个独特的生命,关注每一个儿童的个性,着眼儿童,为了儿童,发展儿童,让每一个儿童享受适合的教育,帮助儿童成为他本来可以成为的人,我
初步临床观察表明,近年来儿童恒牙萌出情况有许多新的变化,而关于这方面的研究亟待提供更多的资料.本研究从流行病学角度对哈尔滨市2 018名儿童恒牙萌出顺序进行调查,旨在为
在2007年国际医疗设备设计与技术展览会暨研讨会期间,道康宁医疗保健工业的与会代表将详尽向您介绍医用级材料在医疗器材中的广泛应用。有机硅橡胶/弹性体道康宁的硅橡胶和弹