论文部分内容阅读
受人体大脑中深度体系的启发，几十年来人工神经网络研究者试图训练一个深度多层人工神经网络，都以失败而告终。2006年深度体系方面的研究有了突破性进展：多伦多大学的Hinton教授和他的同事提出了深度信念网络模型，这个模型通过使用自底向上的基于贪婪策略的非监督预处理，使得深度体系的训练在一定程度上避免陷入局部极值。自此之后，各种基于自动编码和受限制的玻尔兹曼机的深度体系模型相继被提出。这些深度体系模型已经成功应用于数字识别、语音识别、文本分类、信息检索等众多领域。因为RBM（受限制的玻尔兹曼机）模型生成的数据表达比原始数据要好，现阶段大部分深度体系的预处理都是用RBM模型实现的。然而，最近一些学者将RBM作为一个独立的分类器进行了分析，并且通过将生成型RBM和判别型RBM结合S实现半监督学习算法。自此，RBM作为一个独立的模型已经成功应用于众多领域。用于分类的RBM模型可以看成拥有输入层、隐藏层和输出层三层结构的神经网络。用于分类的RBM模型的训练过程可以看作数据降维的过程，高维数据映射到低维数据过程中，数据之间的内蕴结构有没有保持不变，用于分类的RBM并不能保证这一点，基于监督学习的平滑性假设理论，我们引入正则项，让降维过程能更加平滑。最近，用半监督学习解决标记数据过少问题成为一个研究热点，本文通过将RBM模型与EM算法结合来解决这个问题，同时，将统计学习和流行学习相结合实现RBM的半监督学习，也就是通过把流行学习诱导出来的目标函数作为一个正则项添加到RBM的优化准则中，形成一个新的模型：基于拉普拉斯正则项的RBM模型。目前，深度体系的训练关键在于非监督的预处理，而这些非监督的预处理大部分使用的RBM模型实现的，因此研究RBM模型意义重大。在RBM的学习过程中，数据降维度过程往往没有维持数据在空间上的内部结构，所以将正则项引入RBM的统计学习，可以解决此问题，并在一定程度上防止过拟合问题。