论文部分内容阅读
随着深度学习知识广泛的应用到生活中的各个领域,对于深度学习的研究显得尤为重要。近年来,有关深度学习的模型层出不穷,每一模型的变种模型也有很多,而如何选择合适的模型应用到相应的领域,成为广大研究者关注的焦点。然而由于深度学习模型特有的性质以及复杂计算问题,对于模型的选择以及模型评价的问题成为人们实践过程中的阻碍。深度信念网络作为深度学习领域首次被提出的网络模型,它的子模型RBM模型已有很多变种模型,而对其模型的选择问题也是人们研究的热点。由于RBM模型的变种模型的类型之多,本文首先深入地对二值RBM、高斯RBM、均值协方差RBM和分类RBM从统计角度进行了分析,对于在每个模型下可见层变量和隐层变量的条件分布以及每一个可见变量和每一个隐层变量的条件分布作了详细的公式推导。其次,对由RBM模型堆叠而成的深度信念网络模型的概率分布及其各层变量的概率分布进行了分析且对于模型的训练算法CD和PCD作了简单分析。对于深度信念网络的模型选择问题,其本质在于RBM模型的选择问题。目前,对于该模型的选择方法主要是基于重构误差的方法和退火重要性采样的方法。重构误差的方法计算简单,但是缺乏客观性,并不完全可信。退火重要性采样的主要思想是采用重要性采样和模拟退火技术估计RBM模型对数据的对数似然值,通过对数似然值的大小来评估模型的优劣。但是,目前只有对二值RBM模型的采用该方法评估的详细分析。本文提出采用退火重要性采样方法对于高斯RBM模型和均值协方差RBM模型的模型选择的方法,并给出了具体步骤。在均值协方差RBM模型选择过程中,由于中间分布的样本难以采集,利用HMC采样方法获得。最后,选取UCI数据中的ISOLET数据集做实证分析,对于不同种类、不同隐层变量个数的RBM模型采用两种不同的训练算法(CD和PCD)训练模型,并利用文章中介绍的模型选择的方法估计对数似然值,选择出合适的模型,再对数据进行深度信念网络模型分析,分析模型所得的结果。结果表明,对数似然值较大的RBM模型所构成的深度信念网络对数据的分类效果较好,由此证明,文中提出的方法具有一定的可行性。