基于深度置信网络的分类方法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:golf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最近,机器学习领域出现了一系列基于多层神经网络架构的学习方法,称为深度学习方法。深度置信网络作为经典的深度学习方法,可以包含较多隐藏层,可以更好的学习各种复杂数据的结构和分布,引起了广泛关注。但由于深度置信网络本身采用的是无监督学习机制,因此,探讨如何使用深度学习方法来解决分类问题,特别是基于半监督学习的分类问题的研究工作还比较少。  本文提出了一系列基于深度置信网络的分类方法,使用半监督学习和监督学习方法来提升分类性能。研究内容主要包括:  第一,区分深度置信网络。深度置信网络方法在数据压缩中取得了很好的效果,但是在分类方面的性能还有待提升。本文基于深度置信网络方法,提出了一种新的半监督学习方法,称为区分深度置信网络。该方法使用一个新的深层架构来集成深度置信网络的抽象能力和指数损失函数的区分能力,可以使用少量的标注数据达到比较好的分类效果。在人工合成和现实生活中图片数据集上的实验表明,区分深度置信网络可以通过使用大量的未标注数据来大大提升它的分类能力。  第二,自适应深度置信网络。区分深度置信网络主要解决半监督学习问题,而没有解决如何用深度学习方法进行有效的监督学习的问题。本文基于区分深度置信网络和深度自动编码方法,提出了一种新的监督学习方法,称为自适应深度置信网络。该方法使用无监督学习方法来构建输出层,与使用随机数初始化输出层的经典方法相比,分类结果得到了提升。在手写数字、手写字母和现实生活中图片数据集上的实验表明,自适应深度置信网络的分类结果优于经典机器学习方法和区分深度置信网络方法。  第三,量子深度置信网络。量子神经网络是一个将模糊集和传统神经网络很好的结合起来的分类方法。为了进一步提升监督学习方法性能,本文在自适应深度置信网络和量子神经网络基础上,提出了量子深度置信网络方法。该方法使用一个新的深层架构来集成深层架构的抽象能力和量子神经网络的模糊表示能力。在多个现实应用数据集上的实验表明,量子深度置信网络的分类能力明显高于经典神经网络、模糊神经网络、区分深度置信网络和自适应深度置信网络方法。  第四,主动深度置信网络。为解决半监督学习中的有效样本选择问题,本文将自适应深度置信网络和主动学习方法相结合,提出了一种新的半监督学习方法,称为主动深度置信网络。该方法使用同一个深层架构来进行半监督学习和主动学习,使深层架构在主动学习过程中进行迭代训练,逐步提高抽象和分类能力。本文将主动深度置信网络成功的应用到情感分类任务中,实验结果表明,主动深度置信网络的性能优于经典半监督学习方法、主动学习方法,对本文前面提出的深度学习方法也有性能上的改进。  第五,主动模糊深度置信网络。为了进一步提升主动深度置信网络的性能,本文将主动深度置信网络与模糊学习方法相结合,提出了主动模糊深度置信网络。该方法继承了深层架构优异的数据抽象能力和模糊集优异的分类能力。本文将该方法成功的应用到情感分类任务中,实验结果表明,主动模糊深度置信网络获得了所有对比方法中最好的性能。  最后,本文将深度学习方法应用到手写中文识别任务中,提出了一个有效的手写中文识别方法,称为基于深层架构的手写识别方法。该方法将深层架构的抽象能力和指数损失函数的分类能力相结合,使用深层架构进行粗分类,然后使用改进的二次分类函数进行细分类。在三个手写中文识别数据库上的实验表明,基于深层架构的手写识别方法可以通过深层架构来提升分类性能,识别正确率优于经典的手写中文识别方法,从而进一步验证了基于深度置信网络的分类方法解决大规模实际应用中的分类问题的能力。
其他文献
随着国家大力推进互联网、广播电视网、移动网的三网融合,有越来越多的视频数据需要畅游于三网之间。然而,三网间网络带宽、播放设备以及播放软件各不相同,因此需要对视频进行转
随着计算机和网络的普及,我们能方便获取我们关心的所有信息,在很多领域,都存在这些急速增长的以不同形式存在的数据,仅靠人们对数据库的查询或检索得出的数据往往不能得出我们所
三维虚拟人动画涉及到诸多领域,如心理学、人工智能和图形学等,并且虚拟人动画也具有广阔的应用前景。与虚拟人的交互是一个比较有趣也比较有前景的课题,因此吸引了众多人体
目前,随着高校网络环境的改善,图书馆自动化条件的不断优化,很多高校图书馆都已经或正在着手特色数据库的建设工作。其中,学生毕业论文库的建设也是图书馆的一项重要工作。学
人脸检测是指对输入图像或视频序列进行检测,以确定其是否包含人脸,并对包含人脸的数据提取其大小、形状、姿态和位置等信息的过程。人脸检测技术是机器视觉、模式识别和人工智
在过去,传统的奈奎斯特采样定理一直统治着信号处理领域。随着人们对信息需求量的日益增加,信号的带宽越来越宽,在信息获取中对采样速率和处理速度等的要求也越来越高,这无疑
学位
图形处理器(GPU)具有很强的并行处理能力,并且计算成本低,利用GPU加速字符串操作已经成为了当前并行计算领域的研究热点。近似字符串匹配技术在病毒检测、文件检索、计算生物学等
为了有效利用Deep Web中丰富的信息,当前的许多研究多集中于对Deep Web数据集成中子问题的研究。而在这些子问题中,Web数据库选择是影响Deep Web数据集成质量的重要因素之一
近十几年来,数字多媒体正在逐渐渗透到人们的日常生活中。在各种各样的多媒体信息中,数字图像占据了非常重要的位置。但是随着图像处理技术的发展,对图像的编辑修改等操作变得非