论文部分内容阅读
近年来,多核学习(Multiple Kernel Learning,MKL)在机器学习领域受到广泛关注,是一种很有前景的数据挖掘方法。它主要利用多个核函数的线性组合去解决数据异构或不规则、样本不平坦分布等具有挑战性的问题。传统多核学习方法通常把求解多个核函数的线性组合看作优化问题,再重点研究优化算法,以达到更好的效率及精度,但计算量大、不容易收敛仍然是传统多核学习方法的主要缺点。Hao Xia与Steven Hoi创造性地提出了多核集成学习框架(Multiple Kernel Boosting,MKBoost),将AdaBoost的思想运用到多核学习中,巧妙地避开了复杂的优化问题,从而大大提高了算法效率,但由于AdaBoost算法对噪声数据敏感,所以MKBoost算法不能有效地处理被噪声污染的数据集,鲁棒性较差。为了克服MKBoost算法在含有噪声的数据集中出现过拟合的难题,本文提出了两种新的多核集成学习算法,即基于噪声探测函数(noise-based MKBoost,NDMKB)与基于噪声概率(noise-probability MKBoost,NP-MKB)的多核学习方法,新算法主要有两方面具体内容:第一:噪声的识别。首先根据样本邻域信息,使用k最近邻法进行噪声初步探测,越多邻域样本被错误分类,该样本是噪声的概率越大,反之该样本是正常样本的概率越大。ND-MKB算法将k最近邻法的探测结果二值化处理,即{-1,+1},NP-MKB算法利用logistic回归模型函数将初步探测结果映射到[0,1]区间,得到样本是噪声的概率。第二:新的多核集成学习方法的提出。AdaBoost算法中,无论是其损失函数还是样本权值的更新,均只关注分类正确与否,要提高AdaBoost的抗噪性,就有必要区别对待噪声样本与正常样本。本文分别基于噪声探测函数与噪声概率函数提出了两种新的损失函数,并利用前向分布算法进行算法推导。ND-MKB与NPMKB算法都充分考虑了样本的噪声性质对算法的影响,所以抗噪性和鲁棒性比传统多核集成学习算法更好。