分类作为机器学习中基本的问题之一,受到了众多研究者的广泛关注。至今研究者们已提出了很多解决分类问题的模型和算法。其中有一类算法:稀疏核方法,应用于特征向量表示的分类数据集中,在近几十年获得了巨大成功。这类算法均是基于二分类问题建立,无法直接应用于多分类问题。概率分类向量机(PCVMs)作为其中一个融合了支持向量机(SVMs)和相关向量机(RVMs)优点的模型,至今仍只能解决二分类问题。本文基于贝叶斯框架,通过公式推导和拓展,将二类版本的概率分类向量机模型推广至多类,提出了多分类概率分类向量机(mPCVMs)模型。同时提出了两种算法,自顶向下的mPCVM1和自底向上的mPCVM2。本文的主要工作如下:(1)本文提出的mPCVMs概率模型是仅支持二分类的概率分类向量机的推广。由于它是基于贝叶斯框架,相比SVMs类算法,需要指定的参数更少。mPCVMs概率模型使用截断高斯先验,使得模型权重的取值与对应的标签保持一致,避免了不可靠的基样本出现,解决了模型对核参数异常敏感的问题。在机器学习领域,现有的大部分多类模型的权重个数均会随数据集类别数增加而增加,而mPCVMs概率模型的权重个数不会随数据集类别数不同而变化。当类别数较大时,mPCVMs权重个数少,减少了优化算法的时间、空间消耗,提高了矩阵求逆运算时的数值精度。(2)本文提出了基于期望最大化框架的优化算法,mPCVM1。它通过极大化mPCVMs概率模型权重的后验分布,得到权重的最优取值。在优化过程中,mPCVM1初始时包含所有基样本,而在迭代过程中,逐渐删除冗余和不相关的基样本,达到稀疏的目的。由于这种从多至少的模式,我们称该算法是自顶向下的。(3)本文基于极大化mPCVMs概率模型的type-Ⅱ型似然,提出了增量形式的优化算法mPCVM2。mPCVM2在初始时仅包含一个基样本,在迭代过程中,逐渐增加、删除基样本,或修改基样本对应的权重。由于这种从一至多的模式,我们称该算法是自顶向上的。(4)通过理论分析和大量实验,本文验证了两个算法的有效性。尤其是当数据集的类别数较大时,本文提出的两个算法有明显优势。通过两个算法在各方面的对比,本文给出了在实际应用中,如何在两个算法中做出选择的建议。