论文部分内容阅读
虽然极限学习机(Extreme Learning Machine,ELM)易于调参、学习速度快、泛化性能高,但是其随机初始化输入层权重和隐含层偏置单元的方式会产生病态的隐含层输出矩阵从而导致单个ELM模型性能不稳定。由于AdaBoost收敛速度快、精度高并且任何分类算法都可以用作AdaBoost框架下的基分类器,AdaBoost算法常被用来提升单一模型的性能,因此将ELM用作AdaBoost算法中的基分类器构建集成系统可以弥补单个ELM模型性能不足的缺陷。由于粒子群优化算法(Particle Swarm Optimization,PSO)编码简单、收敛速度快、求解性能好,该算法被广泛地应用于模型优化问题。因此,本文在使用AdaBoost算法集成ELM的同时,充分考虑基分类器多样性,使用基于种群多样性引导的标准粒子群算法(DGAP-MSPSO)优化集成ELM从而获得多样性高的基分类器,进一步地改善模型的分类准确率。本文的主要工作如下:(1)提出一种基于种群多样性引导的标准粒子群算法(DGAP-MSPSO)。该算法以标准粒子群算法(Standard PSO-2011,SPSO)为基础,通过种群多样性动态地调节粒子的搜索策略,解决了基本粒子群算法容易陷入局部最优点从而造成早熟收敛的问题,提高了粒子的寻优性能。同时DGAP-MSPO继承了SPSO算法旋转不变性的特点且算法性能不会在高维函数问题上恶化,相比于传统粒子群算法,DGAP-MSPSO更适合用于优化ELM集成系统。在CEC2005基准函数测试集上的实验结果证实了DGAP-MSPSO算法良好的寻优性能。(2)基于基分类器多样性以及多类别分类AdaBoost(Multi-class AdaBoost algorithm,SAMME),提出了Diverse-SAMME-ELM算法。该算法选择支持代价敏感学习的加权极限学习机(Weighted ELM)用作集成系统的基分类器从而解决了基本ELM无法用于AdaBoost算法的问题。算法通过调节Weighted ELM的正则化系数,得到一系列中等精度的基分类器,解决了将强分类器用于AdaBoost集成会造成性能退化的问题。然后,通过引入基分类器多样性的概念,在每一轮产生基分类器之后,算法根据多样性阈值过滤掉不满足条件的基分类器从而获得强多样性的集成。最后,在九个UCI数据集上的实验结果验证了算法良好的泛化性能。(3)针对提出的Diverse-SAMME-ELM算法迭代时间过长,集成系统规模过大且结构复杂的缺点,提出了一种使用DGAP-MSPSO优化的集成ELM的算法(DSPSO-SAMME-ELM)。DSPSO-SAMME-ELM和Diverse-SAMME-ELM都是考虑基分类器多样性的集成方法。两者区别在于,在每次迭代生成基分类器之后DSPSO-SAMME-ELM不需要对基分类器进行过滤。它先通过SAMME算法框架快速地产生一系列中等精度的基分类器,再通过改进的DGAP-MSPSO算法对集成系统的多样性和分类误差进行优化以精简集成系统的结构并且提高集成系统的分类精度。