论文部分内容阅读
在科学研究的很多领域,如人脸识别、生物信息学、信息检索等,所获取的数据往往具有很高的维数。这使得研究人员面临维数灾难问题。由于高维空间中过高的计算代价限制了很多技术在实际问题中的使用。当训练样本数小于特征维数时,模型估计的性能也会大大下降。如何从高维数据中学习到一个符合实际应用需求的有效低维表示已经成为模式识别、机器学习、数据挖掘、计算机视觉等领域的研究热点。在实践中,人们通常使用维数约简来处理维数灾难问题。在过去几十年中,人们提出了各种各样的维数约简方法。然而很多流行的维数约简方法都存在着一定的局限性,比如主分量分析(PCA)是一种很好的数据表示方法,但由于没有利用类标信息,对分类问题来说并不是一个很可靠的方法。由于利用了类标信息,线性判别分析(LDA)在分类问题上比PCA更有效,但它至多只能提取K-1个特征(K是类别数)且面临小样本问题。流行的局部结构保持方法如局部保持投影(LPP)存在需要人工定义近邻图的问题。最近提出的稀疏结构保持方法稀疏保持投影(SPP)计算复杂度非常高。因此,本论文以稀疏学习为工具,提出了一系列有监督和半监督维数约简方法以更快速更有效的学习高维数据的低维表示和一个鲁棒的目标识别方法,并将所提方法成功应用于人脸识别、文本分类、遥感目标识别等实际问题。所取得的主要研究成果包括:1.提出了两种新的高效的维数约简方法:快速稀疏保持投影(FSPP)和快速Fisher稀疏保持投影(FFSPP),它们以保持高维数据中的稀疏表示结构为目的。已有的稀疏保持投影方法中的稀疏表示结构是通过求解n(样本数)个耗时的1范数优化问题来获得的,所提的FSPP通过逐类PCA分解构造字典并基于该字典通过矩阵向量乘来学习稀疏表示结构,这样可以大大降低学习稀疏表示结构的计算复杂度。FFSPP通过将Fisher约束加入到FSPP的模型中以达到同时考虑稀疏表示结构和判别效率的目的,这进一步提升了FSPP的判别能力。所提出的两个方法的求解最后都可归结为一个广义特征值问题。在公共人脸数据库和标准文本数据库上的实验结果验证了所提方法的可行性和有效性。2.提出了一种新的用于人脸识别的维数约简方法稀疏正则判别分析(SRDA),其目的是同时寻找一个最优判别子空间并保持数据的稀疏表示结构。具体来说,SRDA首先通过逐类PCA分解构造一个级联字典,并基于所构造的字典通过矩阵向量乘快速学习稀疏表示结构。然后SRDA通过使用学习到的稀疏表示结构来正则化线性判别分析以达到同时考虑稀疏表示结构和判别效率的目的。最后通过求解一个广义特征值问题获得数据的最优嵌入。在公共人脸数据库上的广泛实验验证了所提方法的可行性和有效性。3.针对单标记图像人脸识别问题,提出了一种基于子空间类标传播和正则判别分析的半监督维数约简方法(SLPRDA)。首先,基于子空间假设设计了一种类标传播方法,将类标信息传播到无类标样本上。然后,在传播得到的带类标数据集上使用正则判别分析对数据进行维数约简。最后,在低维空间使用最近邻方法对测试人脸完成识别。另外,为了提高所提方法处理非线性数据的能力,基于核方法推导出了所提方法的非线性版本。在公共人脸数据库上的实验验证了所提方法的可行性和有效性。4.提出了一种新的半监督维数约简方法,双线性回归(DLR),以处理单标记图像人脸识别问题。DLR在寻找最优判别子空间的同时尽可能的保持数据潜在的稀疏表示结构。具体来说,首先提出了一个子空间类标传播方法(SALP)来将类标信息传播到无类标样本上,这一过程主要通过线性回归(LR)完成。然后,基于传播得到的带类标数据集,通过线性回归(LR)构造一个稀疏表示正则项。最后,为了同时考虑判别有效性和对稀疏表示结构的保持,DLR使用之前构造的稀疏表示正则项对线性判别分析进行正则化,在公共人脸数据库上的大量实验验证了所提方法的有效性。5.针对含有残缺图像的遥感图像目标识别问题,提出了一种基于旋转扩展和稀疏表示的目标识别方法(RETSRC)。首先对训练集进行旋转扩展,使得测试图像能近似用训练集稀疏表示,然后通过求解一个1范数最小化问题得到测试图像相对于训练集的一个稀疏表示,进而根据不同类对应的稀疏表示对测试图像的近似程度进行识别。与几种代表性的方法进行了比较,实验结果与分析表明,本文提出的方法识别率优于已有的方法,对残缺图像的识别有很好的鲁棒性,且在小样本情况下也能保持较好的识别性能。