论文部分内容阅读
近年来,在信号与图像处理,压缩感知,统计,机器学习,数据挖掘等领域涌现出了大量的稀疏优化问题,即其中的优化变量具有某种稀疏结构.利用稀疏结构不仅使得从少量数据中重建高维信号成为可能,更重要的是可以极大的加快大规模优化问题的计算速度.稀疏优化问题的一种主要求解思路是对模型进行松弛,而非凸松弛一般比凸松弛可以获得更高质量的稀疏解.非凸优化算法的迅猛发展,使得如何利用非凸松弛快速和准确地求解稀疏优化问题,成为一个热门的研究方向.随着大数据时代的来临,对大规模问题计算的要求不断增加,以加速梯度算法为代表的一阶算法,引起大量学者的广泛关注.自然地,加速梯度法被拓展到求解非凸优化问题,算法的收敛性也被证明.虽然许多实际的数值实验验证了加速梯度法的优越性,但是并没有理论结果表明,在求解非凸优化问题时加速梯度法要优于不加速的梯度法.因此,如何突破加速梯度法在求解非凸优化时的理论瓶颈,是一个富有挑战的问题.本博士学位论文主要探讨可以为稀疏优化模型提供更好的稀疏解的非凸松弛模型,利用模型特性设计求解算法及加速算法,致力于获得加速算法在求解非凸优化问题上的理论突破.本博士论文的主要结果和创新如下.采用极小化绝对残差近似的方法,提出Lo范数的新的非凸近似函数:分段二次近似函数.基于函数建立分段二次近似模型,根据模型特殊结构设计求解模型的迭代算法,以迭代点有界为假设条件证明迭代算法的收敛性和迭代复杂界,并通过选取模型的收缩参数控制算法产生的迭代点有界.信号恢复和图像处理的数值实验结果表明了分段二次近似模型的优越性和迭代梯度算法的有效性.利用相位图分析,更直观清晰的说明分段二次近似模型的优越性.在迭代算法的基础上,引入Nesterov的加速思想,改进Ghadimi和Lan求解非凸非光滑问题(包含分段二次近似模型)的加速梯度法,保证算法的迭代复杂界不变的前提下,每步迭代都减少一个凸优化子问题的求解,从而提高计算速率.利用分段二次近似模型对改进加速梯度法和迭代梯度算法进行测试,数值实验结果显示改进加速梯度法在求解大规模问题时计算效果要优于迭代梯度算法.其次,基于分段二次近似模型构造分段二次近似正则化模型.通过引入替代目标函数,求得分段二次正则化模型解的解析阈值表达式,提出阈值表示定理,建立阈值表达式的固定点与分段二次近似正则化模型极小值点之间的等价关系.利用阈值表示定理设计求解模型的迭代阈值算法,证明该迭代阈值算法具有线性收敛率,且收敛到分段二次近似正则化模型的极小值点.将加速思想引入到迭代阈值算法中,提出加速迭代阈值算法.应用矩阵不等式的知识,证明加速阈值算法收敛到模型的极小值点并具有线性收敛率,且比迭代阈值算法的线性收敛率更优.信号处理,图像恢复和图像去模糊的数值实验也验证了这一理论结果,并在数值实验中将分段二次近似正则化模型和L1,L1/2正则化模型进行比较,结果显示了分段二次近似正则化模型的优越性.