论文部分内容阅读
作为一种特殊的单隐层前馈神经网络,极速学习机(Extreme Learning Machine,ELM)随机给定输入层权值,通过最小二乘法一次运算即可获得隐层权值,具有学习训练快和逼近能力好等优点。正则极速学习机(Regularized Extreme Learning Machine,RELM)在ELM的基础上,引入正则化理论,同时考虑统计学理论中的经验风险和结构风险,并采用风险比例参数平衡两种风险,其泛化性能比ELM更优越。RELM被广泛应用到分类、回归和预测等领域中,取得了较大的成果。虽然RELM通过引入正则化理论的方式加强了其泛化性能以及原有ELM模型的稳定性,但RELM风险比例参数的获取采取诸如随机获取、交叉验证等方法并不能保证达到模型的最优风险比例。同时,与ELM类似,RELM采取随机指定网络参数和一次学习免迭代的方式进行训练分类,增加了整个网络的不确定性,且无法根据实际情况进行网络调整。针对这些问题,本文拟对RELM进行优化研究,以期获得性能更好的RELM并应用到实际领域,本文主要研究工作如下:(1)首先,提出了一种基于遗传算法的正则极速学习机(GeneticAlgorithm based Regularized ELM,GA-RELM)。我们将遗传算法和正则极速学习机结合起来,采用遗传算法获取正则极速学习机的平衡结构和经验两种风险的比例参数的最优值,同时我们将所提出的GA-RELM应用到人脸识别中,在Matlab R2014a环境下给出了仿真实验,并与其他方法进行了对比,仿真实验结果表明GA-RELM性能良好。(2)然后,我们将卷积神经网络(Convolutional Neural Network,CNN)和正则极速学习机结合起来,提出了一种基于卷积神经网络的正则极速学习机模型(Convolutional Neural Network based Regularized ELM,CNN-RELM),并将该模型作为分类器应用到人脸识别。该模型首先对卷积神经网络进行训练,在达到学习目标精度后固定CNN模型的参数不变,将卷积神经网络的全连接层替换为正则极速学习机,得到我们的CNN-RELM模型。我们将所提出的CNN-RELM模型在人脸数据集上进行了仿真实验,并与其他方法对比分析,仿真实验结果表明所提的方法识别率较高。本文提出了 RELM的两种改进模型,并将其应用于人脸识别领域,实验表明本文所提出的两种模型有效的提高了正则极速学习机模型的性能,具有一定的理论和实际意义。