特征提取和分类器设计是模式识别和机器学习领域的重要研究问题。1995年,Vapnik等人基于结构风险极小化理论提出了支持向量机算法(SVM),它因为具有完备的数学理论基础和可以避免维数灾难等特点而成为处理小样本问题的有效工具之一。虽然SVM在解决小样本和高维模式识别问题中展现出了一定的优势,但当训练集样本规模巨大时,就会出现训练速度慢和效率低下等问题,这一定程度上限制了SVM在实际问题中的应用。在2006年和2007年,人工智能国际顶级杂志“IEEE Transactions on Pattern Analysis and Machine Intelligence,TPAMI”上相继发表了“广义特征值支持向量机”和“孪生支持向量机”的两篇文章,这标志着SVM思想开始从平行平面向非平行平面转移,开启了分类决策新思路。近年来,非平行平面支持向量机算法得到了广泛和深入的研究,逐渐成为模式识别领域一个新的研究热点。另一方面,特征提取是模式识别系统至关重要的步骤之一,如何有效地提取特征依然是研究的热点问题之一。本文主要从非平行平面支持向量机和特征提取方法两个方面开展研究,论文的主要工作包含以下几个方面:(1)提出了新型孪生支持向量机算法。孪生支持向量机算法是基于经验风险的思想提出的,模型的求解转化为两个规模较小的二次规划问题,当数据集规模逐渐增大时,求解两个二次规划问题也是比较耗时的。为了解决上述问题,我们提出了一类新型的孪生支持向量机算法,该算法将拟合超平面的思想和正则化技术引入到模型目标函数的构造中,并构建了快速求解二次规划问题的超松弛迭代算法。(2)提出了新型投影孪生支持向量机算法。首先,投影孪生支持向量机算法是借鉴线性判别分析的思想提出的,该算法通过寻找两个最优投影方向来实现二类分类问题,为了获取能够更好地保持数据局部几何特征的投影方向,将局部保持投影思想和正则化技术引入到投影孪生支持向量机算法中,提出了局部保持投影孪生支持向量机算法。同时,该算法通过经验核映射的方法给出了非线性形式,弥补了原始投影孪生支持向量机算法没有给出非线性形式的缺陷。其次,为了克服投影孪生支持向量机算法线性模型与非线性模型需要构造不同优化模型的缺陷,提出了改进的投影孪生支持向量机算法。该算法先构造改进的线性投影孪生支持向量机,再利用核技巧直接推广到非线性形式,继承了传统支持向量机的精髓,并解决了投影孪生支持向量机算法在训练之前需要计算两个逆矩阵的问题。(3)提出了改进的广义特征值支持向量机算法。广义特征值支持向量机算法是最早提出的关于非平行平面决策分类的算法,为了解决该算法在训练过程和决策过程中的不一致性问题,提出了基于特征值分解的中心支持向量机算法。该算法先是针对二类分类问题提出的,模型的求解转化为标准特征值分解问题,降低了算法的计算复杂度;然后基于“一类对余类”策略推广到了多类分类问题,拓广了模型的应用范围。(4)提出了多胞胎最小二乘支持向量机多类分类算法。该算法是对多胞胎支持向量机多类分类算法的一种改进,模型仅仅需要求解线性方程组问题,不仅降低了模型的计算复杂度,而且提升了算法性能。针对K类分类问题,该算法采取“一类对余类”的思想,对每类训练样本基于最小二乘孪生支持向量机算法构造一个分类超平面,在得到所有的K个超平面后,基于最远距离决策分类,这与将最小二乘孪生支持向量机算法基于“一类对余类”策略直接推广到多类分类问题是不同的。(5)提出了基于构造类内辅助训练样本的模式分类方法。首先采取线性插值的方法构造类内辅助训练样本作为新的训练样本;然后基于这些新的训练样本,利用主成分分析或二维主成分分析方法提取特征,并提出了两种策略将主成分分析方法推广到了核主成分分析方法。该方法在一定程度上既考虑了训练样本集的总体散度又考虑了训练样本集的类内散度,可以更好提取带有鉴别信息的特征,不同数据集上的实验结果验证了我们所提方法的有效性。