基于深度自动编码器的特征提取算法研究

来源 :长沙理工大学 | 被引量 : 9次 | 上传用户:qing19881215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习在人工智能领域中扮演着极为重要的角色,它使得机器能够对各种事物构建模型,通过这些模型,机器就能够对我们的世界形成“认识”。近年来,机器学习能力得到了突飞猛进的发展,一方面归功于计算机硬件技术迅速发展使得存储成本大幅降低、计算速度大幅提升;更重要的是关于机器学习算法的研究获得了突破性进展,尤其是近年深度学习算法的提出,使得机器对世界的认识能力有了质的飞跃。  深度自动编码器是深度学习算法之一,它是一种深层神经网络,其最大的特点就是通过一种非监督的逐层预训练使得网络有一个较好的初始值,再通过有监督的微调训练调整整个网络的权值,最终能够有效地提取数据中关键信息,形成特征。本文在研究深度自动编码器算法的同时,也注重研究各类常用特征提取算法与分类器算法,通过实验比较各类算法差异,并探索改进深度自动编码器的方式。本论文主要研究内容如下:  (1)研究了多种征特征提取算法,包括经典的特征提取算法:主成分分析、线性判别分析、核主成分分析,为区别深度学习算法,本文中将其概括为“浅层”学习算法。除了深度自动编码器外,本文还研究了基于受限玻尔兹曼机的深度学习算法,包括自动编码器的几种改进。通过图像识别实验对各个算法性能进行比较。  (2)研究了多种分类器,包括Softmax、支持向量机以及K最近邻。将深度自动编码器与各种分类器结合,通过实验比较分类性能。  (3)为了进一步提升深度自动编码器的特征学习能力,提出一种基于栈式去噪自动编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于深度自动编码器有监督微调阶段,通过描述同类样本紧凑性的本征图与描述异类样本分离性的惩罚图来优化数据到特征空间的映射关系,通过实验验证了该方法可行性。
其他文献
随着网络技术的迅速发展,互联网上的信息量呈几何级数的增长。对于不同背景和不同兴趣爱好的人,要从浩瀚的信息海洋中找到其需要的信息,是一项较大的挑战,个性化的信息检索系统满
随着互联网规模的急剧膨胀以及互联网新业务的大量涌现,使得网络拥塞不可避免。在网络研究领域,拥塞控制已经引起了越来越多研究人员的关注。路由器中采用主动队列管理(AQM,A
随着互联网技术迅猛发展,XML文档由于其自身的自描述性、半结构化、可扩展性等特点,已经成为当今网络时代的信息载体与交换方式,一个高效、快速的XML文档聚类机制将会极大缩
对等网络(P2P Network)技术发展十分迅速,各种基于对等网络技术的应用软件层出不穷,已经广泛应用到文件共享,分布式计算,边界服务等各个方面。据德国互联网调研机构ipoque称,
随着互联网和信息服务技术的高速发展,不同信息系统之间的互联互通,乃至整合集成已经成为一种迫切的需求,网格技术是解决这一需求非常有效的手段。网格技术提供了一个架构平
用户界面是软件系统的重要组成部分,占用了软件系统大量的开发时间。加之,信息技术的不断发展,以及计算机在人们的日常生活、工作与科研活动中的广泛应用,人们对用户界面的要求也
通过对Web日志进行挖掘,站点管理者可以发现用户的浏览模式,了解不同用户的兴趣和整个站点页面的访问情况,从而可以通过调整网站的逻辑组织结构来优化其拓扑结构。目前,一些
在高等院校理工科教学中,实验教学是整个教学过程中的重要环节,特别是基础课、专业基础课的实验教学在本科教学中尤为重要,它对学生的专业知识起着有效的支撑作用。   本论文
半监督学习是近几年来机器学习的一大研究热点,相比于传统的无监督和监督学习,半监督学习同时利用有标记和无标记样本来提高学习效果。其中,半监督聚类是半监督学习的一个重
在序列模式挖掘过程中,隐私保护是一个必须要考虑的前提,尤其在分布式环境下更加值得关注。现有的分布式数据挖掘隐私保护问题研究主要集中在关联规则挖掘方面,而对于分布式