支持向量机多类分类算法的研究

来源 :中国农业大学 | 被引量 : 0次 | 上传用户:erywwb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关于支持向量机多类分类问题的模型和算法的研究是当今研究的热点之一。无论是最近提出的"一对一对余"结构的算法,还是通常用的"一一对一"结构的算法,对于K类分类问题,都需要解决K(K-1)/2个二次规划问题,使得支持向量机在求解大规模问题中就会产生速度很慢的缺陷。因此,研究高效的求解算法是很有意义并且急需解决的问题。本文主要研究多类分类问题,从最优化理论和算法的角度研究支持向量的最优化问题,并建立了高效的求解算法。 本文所做的主要研究工作如下: 1.构造了基于线性规划的"一对一"三类结构支持向量分类器。由Chih-wei H等人将几个常用的算法,如:"一对多"算法, "一对一"算法,"有向无环图"算法,"纠错输出编码"算法以及两种聚集算法进行了数据试验的比较,试验结果表明"一对一"算法更适合于解决多类分类问题。但其也存在一定的缺点,由于在构造子分类器的时候,只有两类数据参与训练,容易造成由其它数据的信息缺失而带来的错误分类的问题。由Cecilio A等人提出的基于二次规划的"一对一"三类结构支持向量机,与传统的"一对一"结构相比较,其优势在于在分解的过程中,除了需要计算被区分的两类训练点外。其它类别中训练点的信息也被充分利用,在一定程度上可以防止由信息的不完全带来的分类误差,同时,也减少了参数的个数。但由于增加了模型的复杂性,限制了其应用。本文构造了基于线性规划的"一对一"三类结构支持向量分类器,可以直接利用比较成熟的线性规划算法-预测-校正原对偶内点法,并在此基础上提出了基于预测-校正原对偶内点法的支持向量机的多类分类学习算法,这种算法可用于比较庞大的多类别识别问题。数值试验表明,本文提出的算法训练速度快,而且保持良好的分类精度。 2.在K-SVCR算法结构的基础上,构造了新的模型。由Angulo C等人提出的K-SVCR算法,作者只给出了K-SVCR模型,并没有提供相应的求解算法,在一定程度上限制了K-SVCR算法的推广使用,并且其对偶目标函数为凸函数,而不是严格凸函数。本文构造了新模型,该模型的特点是它的一阶最优化条件可以转化为一个线性互补问题,通过Lagrangian隐函数,可以将其进一步转化成一个严格凸的无约束优化问题。利用Sherman-Moodbury-identity等式减小相应优化问题的规模。并在此基础上利用了快速的Annijo步长的有限牛顿法和解决大型问题的共轭梯度法来求解无约束优化问题,理论和数值试验都表明有限牛顿法、共轭梯度法速度快、容易实现。另外,支持向量机的模型中含有多个参数,参数的取值直接影响分类的精确度,针对支持向量机结构参数的选取在没有理论支持的情况下,本文利用基本的遗传算法来解决优化问题,并有效估计未知参数。将上述算法应用于benchmark数据集的测试,实验表明了此算法的有效性。
其他文献
主要利用主理想整环D上的分块矩阵,得到了一种直接求多个无挠自由子模的交模的理论方法一初等变换法;并在此基础上,给出了多个无挠有限生成子模的秩之间的关系公式. 第一部分
本文处理了一类带有非线性源和非线性边界条件多重耦合的抛物方程系统,得到了四个不同的爆破速率估计.特别地,此类系统的爆破速率与边界吸收项无关. 本文前言中主要介绍了非线