受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一类具有两层结构的马尔可夫随机场。近年来,随着RBM的快速学习算法–对比散度(Contrastive Divergence,CD)的出现,引起了一轮研究RBM、CD算法的理论及应用的热潮。理论方面,RBM的快速学习算法促进了机器学习界对于随机近似理论、基于能量的模型、未归一化的统计模型的研究。应用方面,目前RBM已被成功地应用于不同的机器学习问题,如分类、回归、降维、高维时间序列建模、稀疏超完备表示、图像变换、协同过滤等等。本文试图从协同过滤这一问题出发,建立RBM与协同过滤经典算法的联系,揭示RBM的内在机理,并且从协同过滤经典算法的改进出发分析受限玻尔兹曼机的不足,并尝试提出改进。1.以经典的基于用户的协同过滤算法为基础,提出了新的用户相似度度量,局部用户相似度及全局用户相似度,提出了一个基于以上两个用户相似度的协同过滤算法框架。局部用户相似度可以被视为信息检索经典算法,TF-IDF(Term Frequency–Inverse DocumentFrequency,词频-逆向文档频率)权重的一个变种,在用户相似度的计算中强调那些罕见的独特的特征。全局相似度则可视为谱图理论的一个应用,通过用户间相似度的传递,试图发现那些没有兴趣交集的用户之间的相似度。通过实验显示,基于局部用户相似度及全局用户相似度的协同过滤算法,在一定程度上缓解了协同过滤系统中的数据稀疏性问题。2.通过构建RBM与基于用户的协同过滤算法的联系,本文给出了RBM的学习算法–对比散度的一个直观的解释。由此指出受限玻尔兹曼机的非监督学习方式学习到的特征可能有时并不具有辨别力;此外,非监督学习往往会产生一个庞大冗杂的模型,从而使得利用RBM学习的特征变得效率不高。因此本文提出一种混合的三阶受限玻尔兹曼机,同时学习类别无关特征和类别相关特征,而这个混合的三阶受限玻尔兹曼机所定义的分类器只建立在类别相关的特征之上,从而具有更高的分类效率。类别无关特征在学习过程中对于类别相关特征引入了一种正则化效应,这样提出的受限玻尔兹曼机不再需要使用权重衰减(Weight-decay)来控制类别相关特征的范数的增长。3.通过分析受限玻尔兹曼机的学习算法–对比散度,提出考虑隐单元状态的统计相关性对于促使隐单元学习各自不同的特征有重要的作用。提出将隐单元分为大小相同、互不重叠的组,进而在学习过程中引入一种基于隐单元激活概率的l1/l2正则化方法来考虑局部隐单元的统计相关性。这种正则化方法不仅促使大量隐单元组保持在不激活状态,即组间稀疏,同时使得组内的隐单元也大多保持在不激活状态,即组内稀疏。因此,本文称使用这种正则化方法训练的受限玻尔兹曼机为“稀疏组受限玻尔兹曼机”(SparseGroup Restricted Blotzmann Machines,SGRBM)。实验显示,使用稀疏组RBM可以学习到一个较RBM更稀疏更好的生成模型。此外,我们也进一步应用这种正则化方法到深层玻尔兹曼机(DeepBoltzmann Machines,DBM),从而形成了稀疏组深层玻尔兹曼机(Sparse Group Deep Blotzmann Machines,SGDBM),并在两个公共数据集上取得了非常高的分类准确率。