深度卷积网络预训练策略的研究与应用

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:gin901122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习,也即多层神经网络模型,是机器学习和人工智能研究的最为火热的研究领域之一。近些年来,深度学习在解决图像识别、视频处理、自然语言处理、语音识别甚至游戏人工智能等多个问题上均取得了突破性的进展。更准确地说,一个深度神经网络可以在这些领域的识别问题上达到接近人类的水平,这使得它广受学术界和工业界的关注。到目前为止,深度学习的研究有两个核心问题:1)深度学习的理论框架;2)深度网络模型的训练和优化方法。一个与这两个核心问题是紧密相关的技术就是预训练初始化技术。预训练初始化,最早由Hinton在深度置信网络的训练过程中提出,并被多个早期实验工作证明其有效性。具体来说,一个好的预训练初始化策略,不仅仅需要从对网络的原理出发来合理地进行无监督训练,而且需要减轻网络在训练过程中的优化困难。本文的主要内容是针对卷积神经网络预训练策略的研究。本文整理和总结了所有卷积神经网络研究方面的重要进展:从网络结构设计到优化算法到权值初始化。本文重点分析了初始化算法,从每个算法的设计思路出发,结合理论推导,并给出了完整的算法流程。最后本文通过结合现有的初始化算法的研究成果,提出了针对卷积神经网络的预训练方法——PCAUV算法。本文的主要工作如下:1.通过实验的方法,分析和总结了卷积核在优化过程中的变化,并肯定了卷积核初始化的有效性和必要性。2.通过实验的方法,分析和评估了训练好的卷积网络中卷积核的重要性,并提出了影响卷积核重要性的因素的猜想。3.考虑到影响卷积核的重要性因素,从数据中提取特征,结合现有的初始化方法的调整最终的方差,从而提出了PCAUV初始化算法。
其他文献
随着国家建设投资的发展,各类桥梁在现代工程建设中的应用日益广泛,而混凝土在其中占有的重要地位也愈加凸显。由于大体积混凝土在桥梁结构中应用的越来越多,并且大都应用于主要
本研究以棒花鱼、麦穗鱼和子陵吻鰕虎鱼为实验材料,对比研究了它们在入侵地(抚仙湖)和原产地(巢湖和洞庭湖)中的生活史对策,并结合湖泊水文特征和种间关系分析了它们对抚仙湖
哮喘是一种以可逆性气流受限为特征的气道慢性炎症性疾病,以气管平滑肌细胞的收缩增强和气道的兴奋性应答为主要病理特征,严重威胁着人类健康。荷叶是一种传统的中草药,目前
目的:肝细胞性肝癌是最常见的消化道恶性肿瘤之一,由于其发病进程快、恶性程度高、多发转移等特点,在中国乃至全世界一直保持着相对较高的发病率与死亡率。肝细胞性肝癌致病
该文叙述了中国互联网发展的现状,指出了互联网的优点及存在的问题,并提出了发展互联网的对策。
目的:探讨细胞黏附分子CD44的变异体V6(CD44V6)和上皮性钙黏附素(E-cad)在膀胱移行细胞癌(BTCC)中的表达及其临床意义.方法:应用SP免疫组化染色法检测87例膀胱移行细胞癌组织
地震信号处理是勘探地震学的一个重要组成部分。本文详细地讨论了两种数字信号处理理论,即数学形态学与压缩感知,以及它们在勘探地震数据噪音压制与弱信号提取,重构与插值中
目的 观察应用自制药包穴位敷贴结合按摩治疗失眠的临床疗效。方法 将200例符合筛选条件的失眠症患者随机分成两组,对照组采用原有治疗方法加健康宣教,实验组在原有治疗方法
<正>在高油价的推动下,油砂成为石油公司看好的接替资源。石油公司纷纷布局油砂资源。外观似砂状蜜糖,却能提炼出石油,而且储量丰富,主要蕴藏于美洲,这就是非常规原油——油
本文以番茄主要病害早疫病、灰霉病、叶霉病、晚疫病为靶标病害,对具有较高抑菌效果的菌株A8、A37进行了形态特征、生理生化和分子生物学鉴定,明确了这两个菌株所需的营养条件与培养环境,经室内抑菌作用和田间防效试验,表明拮抗菌株A8、A37的发酵液对上述番茄主要病害具有较好的防治潜能。全文研究具体结果概括如下:1、经形态特征观察和生理生化测定,菌株A8、A37的形态特征及生理生化性质与芽孢杆菌属(Bac