深度信念网络的模型选择问题研究

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:kingsun555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习知识广泛的应用到生活中的各个领域,对于深度学习的研究显得尤为重要。近年来,有关深度学习的模型层出不穷,每一模型的变种模型也有很多,而如何选择合适的模型应用到相应的领域,成为广大研究者关注的焦点。然而由于深度学习模型特有的性质以及复杂计算问题,对于模型的选择以及模型评价的问题成为人们实践过程中的阻碍。深度信念网络作为深度学习领域首次被提出的网络模型,它的子模型RBM模型已有很多变种模型,而对其模型的选择问题也是人们研究的热点。由于RBM模型的变种模型的类型之多,本文首先深入地对二值RBM、高斯RBM、均值协方差RBM和分类RBM从统计角度进行了分析,对于在每个模型下可见层变量和隐层变量的条件分布以及每一个可见变量和每一个隐层变量的条件分布作了详细的公式推导。其次,对由RBM模型堆叠而成的深度信念网络模型的概率分布及其各层变量的概率分布进行了分析且对于模型的训练算法CD和PCD作了简单分析。对于深度信念网络的模型选择问题,其本质在于RBM模型的选择问题。目前,对于该模型的选择方法主要是基于重构误差的方法和退火重要性采样的方法。重构误差的方法计算简单,但是缺乏客观性,并不完全可信。退火重要性采样的主要思想是采用重要性采样和模拟退火技术估计RBM模型对数据的对数似然值,通过对数似然值的大小来评估模型的优劣。但是,目前只有对二值RBM模型的采用该方法评估的详细分析。本文提出采用退火重要性采样方法对于高斯RBM模型和均值协方差RBM模型的模型选择的方法,并给出了具体步骤。在均值协方差RBM模型选择过程中,由于中间分布的样本难以采集,利用HMC采样方法获得。最后,选取UCI数据中的ISOLET数据集做实证分析,对于不同种类、不同隐层变量个数的RBM模型采用两种不同的训练算法(CD和PCD)训练模型,并利用文章中介绍的模型选择的方法估计对数似然值,选择出合适的模型,再对数据进行深度信念网络模型分析,分析模型所得的结果。结果表明,对数似然值较大的RBM模型所构成的深度信念网络对数据的分类效果较好,由此证明,文中提出的方法具有一定的可行性。
其他文献
目前,人类已进入以网络为中心的信息时代,大范围内的信息共享与分布式事务成为计算机应用的迫切要求,越来越多的应用要存取分布在不同网络结点上的、不同种类的数据管理系统中的
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
比较分析了多参数作用下双单元法梁单元模型与实体单元仿真模型的计算误差,阐述了双单元法的优势与不足,分析表明双单元法工程应用具有可行性。基于通用有限元建模技术提出双
领导行为与企业绩效关系的研究一直倍受学术界关注。本研究将战略柔性(资源柔性和能力柔性)作为中介变量,研究动态环境下变革型领导行为对企业绩效的影响并提出研究假设,通过
自从Benoit B.Mandelbrot的《Fractal Geometry of Nature》一书于1982年出版后,分形受到了各行各业人士的关注,在许多科学领域得到了一定的应用。但是严格而且正式地定义分形
图论是数学的一个分支,特别是离散数学的一个重要分支,它在物理、化学、天文、地理、生物学,尤其是计算机科学中有非常广泛的应用。 本文主要研究图的标号问题。图的标号
2015年5月,国务院办公厅发布《关于深化高等学校创新创业教育改革的实施意见》(国办发[2015]36号)文件,提出了“大众创业、万众创新”的新要求,我校认真贯彻落实国务院和省政
随着全球对中遗的越来越重视,与申遗息息相关的旅游档案也应当受到各个部门的重视。旅游档案工作的好与坏,更是影响着世界遗产的申报及管理。本文不仅阐述了申遗的重要性及其带