统计学习理论综合了机器学习、统计学习、及神经网络等方面的技术,通过利用结构风险最小化原则,在经验风险最小化的同时,有效地提高了算法的泛化能力,并且统计学习理论为机器学习中的小样本情况提供了有力的理论基础。20世纪90年代VaPnik等学者基于统计学习理论和核技术提出了一种新的机器学习方法支持向量机(Support Vector Machine,SVM),该方法是建立在结构风险最小化原则基础之上的,其核心思想是通过引入核函数技巧,把低维空间线性不可分问题,映射成高维空间线性可分问题,它能较好的解决非线性、高维识别、小样本和局部极小点等问题。SVM的发展,不但丰富和发展了统计学理论,而且在很多应用领域得到应用和推广,如:文本分类、手写体识别、人脸识别、WEB挖掘、回归分析等。如何进一步改进支持向量机的性能,一直以来都是模式识别和机器学习领域关注和研究的热点。核函数的支持向量机在分类和回归等方面虽然都已经取得了很好的效果,但由于人们在利用核函数的支持向量机对数据分析时,往往只是注意和利用正确的分类数据信息,却忽略了错误分类数据中的有用信息,并且核函数的支持向量机的分类效果对核函数和核参数的选择具有很大的依赖性。因此如何利用核函数来有效地发掘错误分类数据中的有用信息来提高分类器的分类和预测能力具有很好的现实意义。本文在核函数的支持向量机基础上,通过利用错误分类样例中的有效信息,完成了以下方面的工作:1.对支持向量机理论和算法进行了介绍和研究,简要介绍了核函数的发展历史、理论基础和基本思想;介绍了机器学习和统计学习理论基本知识。2.在核函数支持向量机基础上,提出了一种基于感知器的SVM分类模型(Support Vector Machine Classification based on Perceptron,PSVM),该模型在对分类器的训练中,引入感知器分类思想,其先利用SVM的核函数进行核计算,判断其分类性能,分类正确则不做任何修改,反之则转化成感知器分类问题。实验结果表明该模型不但能提高SVM的分类性能,而且还可以降低SVM分类性能对核函数及参数选择的依赖性。3.在核函数支持向量机基础上,通过利用差分进化算法中的数据处理操作,提出了一种基于差分进化算法的SVM分类模型(Support Vector Machine Classification based on Differential Evolution,DSVM)。该模型通过利用支持向量机的支持向量,结合差分进化算法中的数据变异、交叉操作,对错误分类的数据进行相应的处理,以期通过利用错分类数据中的有用信息,来提高分类的效果。实验验证表明该模型增加了种群个体的多样性,加快了目标函数的收敛速度。