论文部分内容阅读
集成学习指的是通过构建若干不同学习器来完成同一学习任务的一种机器学习方法。近年来,集成学习以其鲁棒性高,泛化能力强,成为机器学习领域的一个研究热点。集成学习的任务是构建合适的集成模型,并使其达到不弱于其中任意一个体学习器的效果。研究指出,提高学习器的个体精度和种群的多样性是提高集成学习泛化能力的主要手段。然而,多样性和个体精度通常是是相互冲突的。对于同一学习任务来说,当个体的精度很高后,若想再增加多样性,就必须牺牲准确性。这也是集成学习研究的核心出发点。传统集成学习主要通过调整样本分布,集成权重寻优等策略构建集成模型。这类集成学习方法构建集成模型的方式比较单一,没有考虑到进一步提升个体学习器的性能。另外,个体学习器之间的信息交互对集成模型多样性的构建也极为关键。近年来,由于群集智能进化计算的兴起,有学者指出将进化计算和集成学习进行结合。进化计算可以针对集成学习存在的一些问题对其进行寻优。然而目前大部分进化计算和集成学习结合的研究将重点放在个体学习器的选择以及结合策略的寻优。这些方法的实现通常需要基于已训练完毕个体学习器集合,因此其性能很大程度上取决于预生成的个体学习器集合的性能。针对目前集成学习存在的一些问题,本论文提出了一种基于多模态进化计算的新型集成学习策略。算法采用人工神经网络作为个体学习器类型,并将个体学习器的参数进行编码,利用多模态优化算法对其进行寻优。同时,由于多模态优化算法自身的特性,算法可以在寻优的同时构建个体学习器参数之间的多样性。因此,算法可以同步实现集成学习“好而不同”模型的构建。论文的主要工作如下:首先,绪论部分详细介绍了集成学习问题的研究背景及意义,阐明了该问题的研究价值以及重要性。然后描述了集成学习的国内外研究现状,并介绍了一些经典的集成学习研究的出发点及其思想。其次,第2章介绍了多模态进化计算的基本概念及其发展现状。论文首先对多模态问题进行了描述,并详细介绍了传统的小生境策略解决多模态问题的主要思路及其实现过程,分析了基于小生境策略的多模态算法的优缺点。然后,针对传统小生境策略存在的一些问题,论文介绍了新兴的多模态优化算法并分析了其优势所在,给出了其大致实现步骤。论文在第3章介绍了集成学习的相关概念,其中多样性和个体准确性是集成学习的两个重要因素。论文分析了传统集成学习策略构建集成模型的主要手段,传统策略构建多样性的手段过于片面,而且没有考虑到个体学习器内部之间的信息交互。另外,论文对目前基于群集智能优化算法的集成学习策略进行了相关介绍,分析了目前存在的算法构建集成模型的主要出发点及其优劣性所在,为后续的算法设计,对比分析等进行铺垫。然后,本论文在第4章对所提出的基于多模态进化计算的集成学习策略进行了详细的阐述。论文对所设计算法中涉及到的相关策略给出了具体介绍,并且在章节的最后给出了算法的具体实现过程。最后,为了验证算法构建集成模型的有效性,本论文在第五章给出了相关对比实验及其参数分析。首先,论文介绍了若干相关分类问题,并对所提算法和对比算法进行性能测试和结果分析。然后,本论文给出了节点数、多样性以及时耗性等参数分析,以进一步了解算法在训练过程中的内部信息。