论文部分内容阅读
本文对模式识别中降维算法和手写文字识别两个核心问题进行了研究。在降维算法方面,对常用的线性判别分析(Linear Discriminant Analysis,LDA)算法进行了深入的研究。首先讨论了LDA与分类误差之间的关系;然后对LDA在处理多类问题,当最终的维度l小于类别数C-1时,出现的非最优问题,提出了一种基于子集划分的方法以提升LDA的性能;最后对LDA各个投影方向间的约束问题,提出了一种基于类别对之间可分性状态的约束条件。在手写文字识别方面,本文对MQDF分类器中替代参数h提出了一种新的估计算法;对手写汉字识别中相似字的判别问题,本文提出了一种基于分类器级联的策略以更全面地利用原始特征中的判别信息。本文取得了以下主要研究成果:1.讨论了LDA与Bayes分类误差之间的关系。在高斯分布假设下,对于两类情况,本文推导出LDA和Bayes误差在等方差情况下的函数关系,并且给出了在这种特殊异方差情况下两者的函数关系。对于多类等方差情况,分别推导了LDA、Bayes与投影方向的函数关系,比较得到的函数关系可以从理论上解释多类LDA在子空间维度l小于类别数C-1时出现的非最优问题。2.对于多类LDA在寻找到的子空间维度l小于类别数C-1时出现的非最优问题,提出了一种基于子集划分的LDA改进方法。与已有的方法不同,本文利用类别数C越小LDA得到解的鲁棒性越强这一现象,提出基于子集划分的方法提高LDA的性能。在训练过程中,提出的方法首先将多类问题划分为一系列子集,并对子集求解子空间;在分类过程中,提出的方法将待分类样本x映射到其所属的子集中,然后在该子集中进一步确定该样本所属的类别。为了得到全部类别的最优子集划分,本文首先产生在指定分类器下各个类别间的关系,然后利用图分割方法求解出最优的子集。因为提出的方法并没有涉及具体子空间的目标函数,所以该方法可以用来改进其他线性降维方法。实验结果表明该算法可有效的提高LDA及其它线性降维方法的性能,特别是在最终维度较低的时候。3.对于LDA判别向量间的约束问题,提出一种基于可分性状态的Fisher判别向量约束关系。本文研究了特征向量与其元素在可分性方面的关系,得到两类满足等先验同方差高斯分布的特征向量,若向量中任意一个元素可分则该特征向量必然可分。在上述结论的基础上,本文在寻找到每一个投影方向之后检查各对类别投影后得到元素的可分性,并依据可分性状态更新类间离散矩阵。为了使投影方向满足统计不相关的特性,本文将特征向量映射到投影向量的St正交空间中,并迭代地寻找到所需要的子空间。对于更一般的异方差情况,本文采用了核方法将提出的方法扩展到非线性情况。实验表明提出的算法可有效的提升LDA的性能。4.针对用于手写文字识别问题的修正二次判别函数(Modified Quadratic Discriminant Function,MQDF)分类器中替代参数h的估计问题,提出了一种新的方法。首先通过分析参数h在MQDF中的作用,将h对判别结果的影响分为两类情况,然后对每类情况在训练集上统计h的取值分布,并分析如何选择h可获得最优的分类结果,最后用非参数方法得到这两种情况的概率分布,从而得到h的最佳取值。在手写数字数据库MNIST和手写汉字数据库ETL9B上的实验结果表明了提出方法的有效性。5.针对手写相似汉字识别问题,提出一种新的基于分类器的方法以更全面地利用原始特征中的判别信息。与现有的为相似汉字提取额外特征的方法不同,本文在得到特征向量之后,首先利用MQDF进行分类,然后用支持向量机(Support Vector Machine,SVM)对分类结果中的相似汉字的上述特征向量进行再一次的分类,得到最终的识别结果。本文利用分类混淆矩阵自动得到相似汉字集合,并提出了一种新型的存储结构用于快速查找支持向量机的训练字典。在ETL9B手写汉字数据库上的实验表明,所提出的方法可以得到相对于提取额外特征方法更好的识别结果,以此证明了原始特征中存在对于相似字的判别信息,提出的基于分类器的方法可以更充分地利用这些判别信息。