深度学习已成为当前人工智能领域的研究热点。受限Boltzmann机(Restricted Boltzmann Machine,RBM)是深度学习模型之一,它将数据图像拉成一维向量来处理,能够学习到输入数据的概率分布。因其表示能力强、是个很好的生成模型等优点被广泛用于深度神经网络。RBM训练优劣将直接影响整个深度网络的性能。因此,如何优化RBM算法以提高网络泛化能力和鲁棒性,是网络应用中的重要问题。本文主要针对RBM梯度近似算法、动量算法、正则化方法三个方面存在的算法性能问题、动量加速受限、正则化方法计算效率及泛化能力受限等问题展开研究及其在图像识别和地震数据去噪中的应用,主要工作如下:(1)提出一种基于RBM专家乘积系统的改进方法。将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中0-9手写数字体的图像识别,Extended Yale B和CMU-PIE数据库的人脸识别实验,以及地震数据去噪的应用,实验结果表明,提出算法能减少学习时间,提高超参数寻优效率,进而构建的深层网络能获得较好的分类效果和能有效去除随机噪声。(2)提出基于动量方法的RBM一种有效算法。为加快整个深度信念网络学习时间和提高分类效果,在RBM梯度近似算法中加入不同形式不同效用的动量项,在RBM预训练阶段,结合梯度上升算法特点采取快速上升的动量方式;在微调阶段,为了能精确的找到最优点,结合梯度下降算法特点,相应的引入缓慢下降式的动量项,即在梯度上升和梯度下降过程中都使用不同的动量方式。本文算法在MNIST手写体数据库、Extended Yale B和CMU-PIE人脸数据库上做了图像识别应用,结果表明,提出的算法能够有效地增强图像特征的表达能力,提高图像的分类效果和实验效率。(3)提出一种基于修正动量的RBM算法。针对RBM梯度的一种近似算法对动量加速不敏感,以及识别效果不理想等问题,通过修改隐单元偏置参数的更新方式,以避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题。同时,用Gibbs采样来训练RBM模型,在RBM梯度上升算法和梯度下降算法中采用两种不同形式动量方法分别与梯度上升算法和梯度下降算法相结合共同作用,加速整个网络快速收敛和提高图像分类效果;本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的图像识别结果表明,提出的算法能够有效地提高计算效率和网络泛化能力。(4)提出基于权衰减动量的改进平均对比散度算法。针对对比散度算法是似然函数梯度的一个有偏估计,为获得梯度的无偏估计,我们用RBM中Gibbs采样到的每批数据样本在RBM网络中采样到新的批样本的平均来近似梯度。然而,并不是所有RBM梯度近似算法与动量方法融合都能起到加速网络收敛的作用,因此,在之前研究工作基础上,结合修正动量算法和权衰减因子一起来提高RBM网络表示能力,更好的近似其梯度。本文改进的平均对比散度算法在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库3个数据集上的图像识别,以及地震数据去噪的应用结果表明,提出的算法是似然函数梯度的一个有效估计,并能有效去除随机噪声。(5)提出基于梯度改进和动量结合的Logsum RBM方法。在Logsum RBM算法基础上,以及之前的四个研究工作基础,我们在RBM目标函数里加入稀疏效果较好的Logsum函数正则项,结合改进的梯度近似方法和不同形式的动量项,以提高RBM网络的表示能力和加速网络收敛,从而提高整个网络的泛化能力。同样在MNIST手写体、Extended Yale B和CMU-PIE人脸数据库上的图像识别结果表明,提出的梯度算法融合Logsum正则化以及动量方法能够提高RBM网络的稀疏化特征学习性能、特征表达能力,其网络表现出较强的泛化性能和鲁棒性,进而提高了网络分类效果。该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴。