支持向量机是借助优化方法解决机器学习问题的新工具.近年来,支持向量机越来越受到人们的广泛关注,在其理论研究和算法实现方面都取得了重大进展,成为机器学习领域的前沿热点课题.支持向量机将机器学习问题转化为优化问题,并应用优化理论构造算法.优化理论是支持向量机的重要理论基础之一,本文主要从优化理论和方法的角度对支持向量机进行研究.主要内容如下:1.对最小二乘支持向量机进行研究.提出一类训练最小二乘支持向量机的条件预优共轭梯度法.当训练样本的个数较大时,最小二乘支持向量机需要求解高阶线性方程组,利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组,大大提高了最小二乘支持向量机的训练速度.2.对光滑支持向量机进行研究.无约束支持向量机模型是非光滑不可微的,许多优化算法无法直接用来求解该模型.采用CHKS函数作为光滑函数,提出了光滑的CHKS支持向量机模型,并用Newton-Armijo算法来训练该模型.该算法通过批处理训练来提高训练速度,节省存储空间,可以有效求解高维、大规模的分类问题.3.基于优化理论中的KKT互补条件,分别建立了支持向量分类机和支持向量回归机的无约束不可微优化模型,并给出了有效的光滑化近似解法.建立了支持向量分类机的无约束不可微优化模型,给出了求解支持向量分类机的调节熵函数法.该方法不需要参数取值很大就可以逼近问题的最优解,避免了一般熵函数法为了逼近精确解,参数取得过大而导致数值的溢出现象;调节熵函数法同样可以用来训练无约束不可微的支持向量回归机,提出了求解支持向量回归机的调节熵函数法,有效避免了数值的溢出现象.这两个算法分别为求解支持向量分类机和支持向量回归机提供了新的思路.4.对模糊支持向量机进行研究.针对支持向量分类机对训练样本中的噪声和孤立点特别敏感的问题,提出了一类基于边界向量提取的模糊支持向量机方法.选择可能成为支持向量的边界向量作为新样本,减少了参与训练的样本数目,提高了训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,减弱了噪声点的影响,增强了支持向量对支持向量机分类的作用;为了克服最小二乘支持向量机对于孤立点过分敏感的问题,将模糊隶属度概念引入最小二乘支持向量机中,提出了基于支持向量域描述的模糊最小二乘支持向量回归机.新的隶属度的定义减弱了噪声点的影响.把所要求解的约束凸二次优化问题转化为正定线性方程组,并采用快速Cholesky分解的方法求解该方程组.在不牺牲训练速度的前提下,比支持向量机和最小二乘支持向量机具有更高的预测精度.5.对半监督支持向量机进行研究.为了改进?TSVM的分类性能,引进了一个光滑分段函数,给出了光滑分段半监督支持向量机模型.光滑分段函数的逼近性能优于高斯近似函数.根据光滑分段半监督支持向量机的非凸特性,首次采用保证收敛的线性粒子群算法来训练半监督支持向量机,光滑分段半监督支持向量机在分类性能上优于?TSVM.