论文部分内容阅读
稀疏优化问题具有重要的应用背景,如信号去噪,模型选择,图像处理等等.本文研究LASSO,块LASSO以及稀疏块LASSO,针对更一般的模型,目标函数为光滑函数与非光滑函数的和,提出了求解方法.详细说明如下:首先,提出了修正邻近梯度方法,主要是以固定步长下的邻近梯度作为迭代方向,并选取自适应步长.证得算法具有Q-线性收敛速率,与原始邻近梯度法的收敛速率相比有很大改进.通过数值实验,将本文提出的修正邻近梯度法与原始方法相比较,表明所提算法在计算时间上具有一定的优势.原因在于固定步长下的邻近梯度的求解与原始邻近梯度法在经过若干次线搜索确定步长后再求解邻近梯度相比节约了大量运算时间.其次,为改进上述修正邻近梯度方法的非单调性,提出了一类新的下降步长搜索方法用以计算下降方向.基本思想是利用目标函数光滑部分梯度的Lipschitz连续性,在邻近梯度的计算过程中,只需几步迭代就可以确定使得目标函数值下降的方向.迭代步长选取之前修正邻近梯度法自适应步长变化区间的最大值,即采用固定步长.新的修正邻近梯度法同样具有Q-线性收敛速率.数值实验表明,新的修正邻近梯度法不仅具有目标函数值下降的性质,而且在计算时间上也具有一定优势.在上述两部分工作的基础上,设计了一般性的稀疏度约束问题模型,计算具有一定稀疏度或分块稀疏问题.具体计算过程需要将变量分为各具有稀疏度约束两部分.特别地,稀疏优化问题与分块稀疏优化问题皆可以看作是稀疏度约束问题的特殊情况.针对该类问题,我们提出分层求解方法,整体采用交替最小化方法,而针对每个子问题借助投影梯度法求解.在给定的最优化条件下,证明了投影梯度法求解子问题所得函数值序列是下降的.进一步,给出算法的收敛性分析,并在目标函数为凸的条件下证明了算法的次线性收敛速率.最后,本文设计了求解一类稀疏优化问题的凹凸(DC)算法.主要思想是利用光滑凹部分的线性近似函数,设计出凸规划模型的求解问题.在某些标准假设条件下,得到解的稀疏性质,并给出了算法的收敛性分析.