论文部分内容阅读
在许多现实的机器学习任务中,往往同时存在多个目标,且目标之间很可能存在冲突,因此,有效地进行多目标优化是机器学习领域的一个重要研究方向。近年来,多目标演化算法在机器学习领域开始得以应用,但由于演化算法的理论基础较为薄弱,多目标演化学习技术的发展受到了严重阻碍。本文为建立多目标演化学习的理论基础进行了探索。具体来说,本文对多目标演化学习的三个重要理论问题进行研究,并在理论指导下,针对机器学习中两个典型多目标任务设计出有效的方法。本文主要工作包括:1.提出多目标演化算法约束优化性能的理论分析方法,并对多目标演化算法在P和NP难问题上的性能分别进行了分析。以往的理论研究往往关注无约束优化,然而现实世界中的优化通常是带约束条件的。针对这一问题,本文通过揭示出多目标演化算法可模拟贪婪算法的行为,提出一种约束优化性能的理论分析方法。基于此方法,本文在典型的P和NP难问题上分别显示了多目标演化算法相比其他常用约束优化方法的优势。2.提出多目标演化算法交叉算子效用的理论分析方法,并对交叉算子在P和NP难问题上的效用分别进行了分析。以往的理论研究往往仅涉及变异算子,然而实际使用的多目标演化算法通常带有交叉算子。针对这一问题,本文通过比较多目标演化算法使用交叉算子和不使用时的性能差异,提出一种交叉算子效用的理论分析方法。基于此方法,本文在典型的P和NP难问题上分别分析了交叉算子的效用。3.提出多目标演化算法带噪条件下优化性能的理论分析方法,并对多目标演化算法在EA易和EA难问题上的性能分别进行了分析。以往的理论研究常假设理想环境,然而现实世界中的优化通常是带噪声的。针对这一问题,本文通过将多目标演化算法刻画成马氏链,提出一种带噪条件下优化性能的理论分析方法。基于此方法,本文在典型的EA易和EA难问题上分别证明了多目标演化算法始终能在多项式时间内找到最优解。4.提出一种基于多目标演化学习的新型选择性集成方法PEP。选择性集成在优化所选学习器子集泛化性能的同时,要求包含的学习器数目尽可能少。在多目标演化学习理论研究的指导下,本文提出采用多目标演化算法基本框架的PEP方法。理论分析和实验验证显示出,相比以往两类常用选择性集成方法,PEP找到的学习器子集不仅泛化性能更好,而且包含学习器数目更少。5.提出一种基于多目标演化学习的新型子集选择方法POSS。子集选择旨在从所有给定的变量中选择一个子集使给定的某个目标最优化,同时包含的变量数目尽可能少。在多目标演化学习理论研究的指导下,本文提出采用多目标演化算法基本框架的POSS方法。理论分析显示出在子集选择的两个子问题稀疏回归和字典选择上,POSS能够获得目前为止最好的近似性能。实验结果验证了该方法的有效性。