论文部分内容阅读
分类问题是机器学习研究领域的基本问题。准确、高效地完成分类对于科学研究和实际工程应用领域具有重大的借鉴意义。随着进化算法应用于分类问题,分类的准确性和收敛速度都得到了极大的提升。相对于其他传统方法,进化算法有着优秀的全局优化能力和较好的鲁棒性。同时,进化算法还有着拓展性强、自我学习能力优越的特点,因而能够自学习地处理一些复杂的问题。烟花算法(Fireworks algorithm,FWA)是一种模拟烟花在夜空中爆炸的现象而形成的优化算法,具有局部搜索能力和全局搜索能力自调节的能力。但是,FWA也存在着缺陷。比如,在寻优过程中优势解之间没有很好地进行交互。与此同时,进化算法在解决分类问题上,仅仅是通过优化分类器的参数和结构,抑或是预处理分类器的输入来提升分类精确度,其他方面处理很少。为了克服进化算法在分类问题上的局限性,并且提升FWA的优化能力来处理更多更复杂的实际问题,以及扩展多目标的分类方法,本文主要做了以下研究工作:(1)首先,本文研究并设计了三种新的优化分类模型,将分类问题转化为优化问题,使得任何进化算法都能够直接通过分类模型进行求解分类问题。通过实验分别验证了这三种优化分类模型都能够有效地预测测试数据的类标签。(2)由于FWA模型简单而且其单个的搜索策略不能很好地解决多种复杂实际问题,本文相继提出了自适应烟花算法(Self-adaptive Fireworks Algorithm,SaFWA)以及改进的自适应烟花算法(Improved Self-adaptive Fireworks Algorithm,ISaFWA)。在SaFWA和ISaFWA中,将差分进化(Differential Evolution,DE)搜索策略嵌入到火花变异方面,增加了种群中优秀个体之间的交互。DE策略的增加,不仅优化了种群的多样性,而且提高了问题的求解效率。同时,引入的自适应机制可以在搜索过程中动态地根据搜索效率选择对于当前问题最优的策略,大大提高了算法的通用性和鲁棒性。实验结果显示,SaFWA和ISaFWA有着很好的性能,可以极大地增强优化分类能力。(3)最后,为了扩展分类问题的研究领域,本文增加了多目标分类问题的处理策略。使用快速非支配排序遗传算法(Non-dominated Sorting Genetic Algorithm,NSGA-Ⅱ),在优化分类模型上进行实验分析。实验结果显示NSGA-Ⅱ能得到好的Pareto曲线,并且有着较好的分类精度和鲁棒性。