基于选择性区域丢弃的dropout方法研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:virtualboxscdl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分类作为计算机视觉的基本问题,随着深度学习的引入得到了诸多发展以及提升。但在训练分类模型时会不可避免地出现过拟合现象,这会使得最终训练出来的网络效果不好。过拟合是指由于模型过于复杂或数据量不足,网络拟合的结果仅接近于训练集,但并不会在测试集上取得良好的表现,即网络不具备应有的泛化性。Dropout为主要针对神经网络的正则化措施以及策略,它通过随机屏蔽掉单元使得每个单元的“重要性”趋于一致,从而减少网络的过拟合倾向。但Dropout并不能在卷积神经网络上起到很好的效果,由于在卷积层里所提取到的特征在空间上是相关联的,被Dropout丢弃的神经元信息并不能完全被屏蔽。许多方法试图通过随机丢弃区域或通道来改进Dropout。本文对当前比较常用的Dropout算法进行了研究和探索,并进行了对比研究和分析,在此基础上提出了一种名为FocusedDropout的新的正则化方法,FocusedDropout是第一个关于CNN的非随机性Dropout策略。经过FocusedDropout方法训练的网络可以通过丢弃背景和噪声相关的单元使网络更加关注前景信息,更加专注于分类目标,分类效果会更好。在研究过程中发现卷积神经网络的高激活值单位往往对应于分类目标,基于这一点,FocusedDropout在训练的过程中选择平均激活值最高的通道,丢弃该通道上激活值低于阈值的单元,而将高于该阈值的单元作为优选区域。在CNN所包含的空间不变性特点支持下,FocusedDropout仅保留剩余通道上优选区域的单元。因此,FocusedDropout方法使网络更加关注同分类目标有关的特征,这更加有利于神经网络进行正则化,避免过拟合的产生。本文研究了FocusedDropout方法在多个常用模型上对多个常见的数据集上训练的性能,以证明FocusedDropout方法的有效性和通用性。训练的过程中,FocusedDropout使用了一种新颖的方式,并不是在所有的训练样本上都使用FocusedDropout方法,而是随机选择10%的批次使用FocusedDropout方法,并在测试过程中保留模型,这样的训练方式使得FocusedDropout只占用很小的训练时间和训练内存成本,同时又易于实现。实验结果表明,FocusedDropout方法在CIFAR-10数据集和CIFAR-100数据集上产生了很好的性能提升,并且对于包括VGG、ResNet和DenseNet在内的不同卷积神经网络分类模型具有很好的通用性,具有很强的泛化能力。
其他文献
目的:通过观察原发性高血压阴虚阳亢证患者服用潜阳育阴颗粒治疗前后的中医证候积分、炎症因子、血脂、血流变、血压变异性等变化,对潜阳育阴颗粒治疗原发性高血压阴虚阳亢证
伴随着经济社会的快速发展,我国对能源的需求越来越强烈,但是传统化石能源正在日趋枯竭,且化石能源的大规模应用也严重威胁了地球的生态平衡。由于太阳能是一种清洁、安全、易获取新型可再生能源,世界各国都在加速推动光伏产业的发展。但是在复杂光照条件下光伏发电系统极易发生功率失配问题,使光伏系统输出功率损耗大幅上升,严重时还会导致光伏发电系统过热损坏,旁路二极管的优化配置是解决上述问题的重要手段之一。本文的主
肾素-血管紧张素系统(RAS)是人体内重要的体液调节系统,包括血管紧张素转换酶(ACE)、血管紧张素Ⅱ(Ang Ⅱ)、血管紧张素Ⅱ 1型受体(AT1R)等成分。当肝脏受到酒精等致病因素的
有机阴离子转运多肽(Organic Anion Transporting Polypeptides,人类:OATPs,动物:Oatps)家族是重要的细胞膜转运蛋白,广泛分布于肝脏、肾脏、小肠、睾丸、血脑屏障等不同的组织
量子点(QD)是一种新型的纳米材料,其三维尺寸都小于对应的激子波尔半径的两倍。QD独特的光学性质吸引了研究者们的持续关注。碳量子点(CQDs)相对于常见的硫化镉、硒化镉等量子点,
脱氧雪腐镰刀菌烯醇(Deoxynivalenol,DON)属于单端孢霉烯B族,是自然界分布最为广泛的霉菌毒素之一,对人类和动物具有广泛的毒理作用。DON能引发猪的呕吐反应,所以被称为呕吐
为了应对越来越严格的环保法规,提高燃油的单位经济性,汽车轻量化已经成为汽车发展的趋势之一。车架作为汽车结构里的一个重要部件,向下受到悬挂系统的支撑,向上受到载重的挤
切换系统是混杂系统的一个重要的分支,通常由一定数量连续(离散)子系统和一组恰当的切换信号组合而成,在控制学科中的一项重要的研究课题是分析切换系统的稳定性和镇定性问题。随着现代控制系统网络化水平不断提高,网络控制通过无线方式可以减少布线且维护方便的同时也不可避免的带来如信道堵塞、资源浪费等问题。有文献分析,事件触发机制通过设定的触发条件可以减少资源浪费等现象,但目前事件触发切换系统的研究尚在起步中,
本文分别研究了广义的Zakharov-Kuznetsov方程与三维ZakharovKuznetsov方程对于其初值问题解的指数衰减性.具体地,联系该问题的解在加权Sobolev空间的持久性和唯一连续性,证
糖尿病神经病理性疼痛(Painful diabetic neuropathy,PDN)是一种特殊类型的神经病理性痛,是糖尿病最常见的、顽固并发症,给病人带来折磨、严重影响病人生活质量。目前临床治疗效果极差。最近趋化因子CXCL13及其受体CXCR5被证明在由外周组织炎症或神经损伤诱导的慢性疼痛中起关键作用。然而,在糖尿病神经痛中CXCL13及CXCR5是否参与进而如何参与糖尿病性神经痛仍不明确。在