论文部分内容阅读
机器学习的研究始于上世纪60年代初,至今已经广泛地应用到模式识别、信号处理、图像处理、数据挖掘和智能控制等方面。在机器学习中假设函数的稀疏性对检验速度和推广性能是至关重要的,而稀疏信号的重构在压缩感知中也扮演着举足轻重的作用。本文从支持向量机的稀疏性和压缩感知中稀疏信号重构方法的角度出发,结合有约束二次规划和无约束二次规划的特性,在简化支持向量以提高分类速度方面和提高压缩感知中重构算法速度方面进行了研究。本文的主要工作包括以下内容:1.支持向量机(Support Vector Machine,简称SVM)在数据的稀疏表示上具有良好的表现,但SVM得到的支持向量仍然存在冗余。为了提高SVM解的稀疏性,本文提出一种l1正则最小二乘规划的方法,该方法能够得到一组约减向量,其个数要少于支持向量个数。为了求解l1正则最小二乘规划,我们使用序列最小优化(Sequence Minimal Optimization,简称SMO)方法求解。2.目前支持向量机已经在人脸检测中得到了应用,但是在检测过程中计算复杂度很大,这是由于支持向量机得到的支持向量个数较多。对此,我们将l1正则最小二乘规划方法,引入到人脸检测过程中,并在SMO方法的基础上提出了多元素序列优化法(Multi-element Sequence Optimization,简称MSO)。MSO方法可以改变当前工作集中元素个数,从而使算法的速度和分类性能达到动态的平衡。首先利用SVM进行训练,然后稀疏化表示支持向量并产生约减向量集,最后把约减向量集应用到检测过程中。相比较于SVM,实验证明了本文的方法可大大提高检测速度。3.近几年来出现在压缩感知(Compressed Sensing,简称CS)中的稀疏信号重构问题得到了学者的广泛重视,它要求以高概率和高速度重构稀疏信号。在研究中,我们发现重构问题的形式相似于我们提出的l1正则最小二乘规划,因此我们对前面的MSO方法进行了改进,提出了一种序列重构法(Sequence Reconstruction Method,简称SRM),并应用到稀疏信号重构中。仿真试验表明在保证重构精度的前提下,我们的方法相比于已有的方法有着较快的重构速度。