论文部分内容阅读
线性判别分析(LDA)作为一种降维技术,已成功应用于许多分类问题中,如语音识别、人脸识别、信息提取等领域。LDA的主要思想是寻求一个最优线性变换,使得原始数据从高维空间中映射到低维空间。该变换能够使数据集的类内散度最小且同时使得类间散度最大,从而实现最大程度的判别。数学上,这种方法表述为下述最优化问题(比迹问题)[19]:W=arg max tr w[WTSωW)-1(WTSbW)]然而,从统计观点看,更合适的判别准则为(迹比问题):W=arg max tr w[WTSbW)/tr(WTSωW)但是,迹比问题的全局最优解没有显式计算公式,比迹问题可以通过广义特征值分解而得到有效解决。本文对求解迹比问题的三种主要方法:二分法、Iterative Trace Ra-tio(ITR法)、Decomposed Newton’s Method(DNM),进行研究并做了一些改进。首先,对于样本维数高、计算代价高以及小样本问题,我们通过移除总体散度矩阵St的零空间,从而使计算代价明显减少,并且解决了奇异性问题。其次,对这三种迭代方法与基于比迹准则的方法进行比较,结果表明迹比最优化准则的识别率高于基于比迹最优化准则识别率。另外,对于ITR算法,我们对初始迭代矩阵的选择进行了研究。结果表明,选择好的初始迭代矩阵使得算法的收敛速度有明显的提高。最后,我们分析了组内样本的相关性对识别精度的影响。通过选择一些线性无关的样本作为训练集,使得识别率有明提高,说明样本的选择对识别率有直接影响。