论文部分内容阅读
集成学习作为一种新的机器学习范式，它使用多个学习器来解决同一个问题，能够显著地提高学习系统的泛化能力，以其优良的特性，广泛的应用于多个领域。然而集成学习技术还不成熟，集成学习的研究还存在着大量未解决的问题。如何解决在标签噪声环境下的学习问题，以及如何提高集成半监督学习系统性能。针对这些问题，本文在经典算法AdaBoost的基础上，对标签噪声学习和协同训练学习进行了研究，并通过应用于实际问题，深入探讨了自己的理解和方法。本文的主要研究工作阐述如下：(1)针对AdaBoost算法对标签噪声数据的敏感性，本文首先通过理论分析AdaBoost对标签噪声数据敏感的原因，然后结合标签噪声的特点，提出了Knn-AdaBoost标签噪声抑制算法。Knn-AdaBoost算法预先通过Knn计算每个训练样本的噪声因子，然后结合噪声因子提出了一个新的样本权值更新策略。实验采用多组UCI数据集和文本数据集，测试结果表明，Knn-AdaBoost相比原算法具有较好的分类精度，充分说明了新的样本权值更新策略的有效性。(2)在第三章方法的基础上，提出一种集成半监督ASSEMBLE. KnnAdaBoost标签噪声抑制算法，该算法解决了两个重要问题，其一是如何很好的区分训练集中的标签噪声样本和正确样本；其二是如何有效的加入未标记样本，不断完善分类决策边界。实验部分也采用了多组UCI数据集和数字手写数据集，在不同未标记样本比例下来验证了新算法较比其它对比算法的有效性。(3)针对传统协同训练学习两个条件难以同时满足的问题,本文结合协同训练算法Co-Forest的思想和Boosting的样本权重策略，提出了一种新的多分类器协同训练算法Co-RotBoost，该算法通过PCA对数据集的旋转得到基分类器的多样性，同时在训练过程中引入了Boosting的策略去注重那些难分的样本点，最后通过多个分类器共同决策未标记样本的类别，挑选置信度高的未标记样本。实验表明，Co-RotBoost算法具有很好的分类性能和较快的算法收敛速度。