作为传统统计学的重要补充和发展，针对小样本数据提出的统计学习理论近来受到广泛重视。在统计学习理论基础上发展起来的支持向量机已经展现出优秀的学习性能，并由最初的分类任务成功地扩展到处理回归、概率密度估计和异常值检测等问题。支持向量机一改传统方法的经验风险最小原则，而是根据结构风险最小化原则提出的，这就使其能够达到更好的泛化能力。 支持向量机另外一些优势可以通过与神经网络相比展示出来。支持向量机只有少数可调的参数，而且训练问题可以归结为解一个凸二次规划，从而所得的解是全局最优的，通常也是唯一的。 本文以支持向量机理论为基础，对分类与回归的基本方法及其应用进行了系统的研究。全文共分七章，具体内容如下。 第一章综述了分类与回归的基本方法，包括贝叶斯方法、神经网络方法和支持向量机方法等。 第二章介绍了支持向量机一类分类、二值分类以及回归算法，并在一类分类的基础上，提出一种多值分类算法。所给方法有效地克服了通过构造一系列二值分类而达到多值分类的复杂计算问题，从而有机地将一类分类、二值分类及多值分类融合到一起。进一步提出了多值分类算法的分解形式，为解决大规模数据分类问题提供了一条可行的途径。 第三章首先总结归纳了线性规划下的支持向量机方法。其次，在基于线性规划的支持向量机算法基础上，提出几种新的回归模型，所给模型不但简化了原模型的复杂结构，而且仍能保持良好的预测性能。最后，提出一种基于线性规划的多值分类算法和它的分解形式，该方法不但简单易行，而且仍能保持良好的分类精度。同时，结合基于核的主成分分析(Kernel Principal Component Analysis,KPCA)方法和所给多值分类算法建立了一种人脸识别模型。对ORL人脸图像库的实验结果表明所给方法是可行的、有效的。 第四章对支持向量机回归模型进行了一些扩展研究，具体内容分四部分:一、提出一种单参数约束下的回归模型，并证明了该模型与标准回归模型的等价性;二、针对实际回归问题中经常出现异方差性，提出一种加权支持向量回归算法。仿真实验表明，当数据中存在异方差性时，所给方法的预侧结果更接近真实值;三、针对支持向量回归模型中只有点输出而没有概率输出这一缺点，根据局部预测思想，在回归模型中定义了一种预测信任度的概念，从而为预测值提供了一个可信度评判。另外，通过对可信度的观测，还能在一定程度上判别数据中的噪声含量;四、研究了回归与分类之间的关系，为快速分类算法应用于回归模型中提供了一定的理论依据。 第五章对异常值检测进行了探讨。利用支持向量回归算法中结构风险函数较好的平滑性以及KKT条件，提出一种回归中的异常值检测方法。另外，结合一类分类方法和相空间重构理论，提出一种时间序列中的异常值检测方法。 第六章讨论了支持向量机与神经网络之间的关系，同时将支持向量回归的各种版本及RBF网络应用于混沌时间序列预测中，并通过加入不同水平的噪声来比较分析它们的预测性能。 第七章总结全文并对今后研究工作提出展望。