论文部分内容阅读
智能软件系统已成为软件工程领域最重要的研发对象之一。无论是学术界还是工业界,都对能使软件智能化的算法产生了浓厚的兴趣。其中,与模式分类有关的算法更是得到了业内的广泛关注,通过对分类算法的研究、优化与创新,使得软件智能化的水平得到了显著的提高。最近几年,人工神经网络在理论上和应用上的突破都引人瞩目,尤其是深层神经网络的优越性正逐渐被人们所认可,国内外很多学者都致力于深层神经网络的研究工作,并提出了大量的优秀算法。深层神经网络模型的种类很多,根据训练算法来分,其中有两类,第一类是基于贪婪算法的逐层预训练的深层神经网络模型;第二种是通过随机赋权方法来构造的深层神经网络模型。本文第一部分的工作主要研究了两类深层神经网络模型中具有代表性的两个模型。其中,基于受限玻尔兹曼机逐层预训练的方法是深度学习的主要方法之一,该方法通过借助物理能量模型来对网络中每一层的参数进行预训练,之后逐层叠加成深度置信网络,通过在最后一层加上softmax层输出网络的分类结果,然后进行网络精调,本文以这个方法为基础,结合广义逆的知识对该方法进行了简化的工作,并进行比较研究;另外,用基于极速学习机的原理来训练得到的深层网络是典型的深层随机赋权网络,该类型的网络以效率著称,并在工业界得到了广泛的应用。本文第二部分的主要工作是对分类器集成方法的研究,并且利用分类器集成的方法将深层神经网络模型进行集成,并将这种方法与深度学习、深度随机赋权网络进行了比较研究。在本文的实验部分,为了使得对比分析结果具有客观性,本文选取了多个不同领域的分类数据集,并且涵盖了数值型和符号型两类数据集,本文通过对深层神经网络、浅层神经网络和本文方法在测试精度、训练时间以及模型的拟合程度等多个方面进行比较研究,得出了一些具有一定参考价值的结论。