【摘 要】
:
卷积神经网络(convolutional neural networks,CNNs)在计算机视觉、语音识别等领域取得显著成功的同时,网络深度和宽度进一步增加,这导致了网络计算复杂度的急剧上升。目前卷积神经网络的参数量是数以万计的,网络所需的巨大内存和高额的计算量消耗,制约着深度学习在资源有限的移动设备上的应用。本文引入新的通道剪枝方法降低网络浮点运算量(floating-point operati
论文部分内容阅读
卷积神经网络(convolutional neural networks,CNNs)在计算机视觉、语音识别等领域取得显著成功的同时,网络深度和宽度进一步增加,这导致了网络计算复杂度的急剧上升。目前卷积神经网络的参数量是数以万计的,网络所需的巨大内存和高额的计算量消耗,制约着深度学习在资源有限的移动设备上的应用。本文引入新的通道剪枝方法降低网络浮点运算量(floating-point operations,FLOPs),通过移除卷积核中不重要的通道,得到一个内存更小的CNN模型,以达到加速和压缩卷积神经网络的效果。本文以降低卷积神经网络FLOPs为研究目标,在网络性能降低可以忽略的前提下,对通道剪枝方法进行研究,主要贡献概括如下:(1)针对常见的两种结构不同的卷积神经网络,即无捷径连接(shortcut connections)的卷积神经网络和存在捷径连接的残差网络,给出了通道剪枝在这两种网络下的实现,并讨论了移除卷积层通道对网络FLOPs降低的影响。(2)提出了基于平均梯度的新剪枝标准。该标准以单个特征图的平均梯度数值为依据,衡量各通道对网络性能的重要性。平均梯度数值越小的特征图,移除对应通道时对网络损失函数的影响越小,即这个通道的卷积层对剪枝操作的敏感度较低。与现有剪枝标准的对比,基于平均梯度标准的剪枝方法得到的网络准确率保持较稳定,对网络性能的影响较小。(3)针对逐层剪枝策略的时间消耗过大,全局剪枝策略无法显著降低网络FLOPs问题,引入了分层全局剪枝策略。依据剪枝标准将全局剪枝策略应用于敏感度相似的卷积层之间。分层全局剪枝策略主动学习了各个卷积层的剪枝比率;避免了卷积层的固定剪枝比率过高时,对网络性能造成严重损害。同时分层操作保证了各卷积层与整体网络的剪枝比率近似相等,保证网络FLOPs的显著降低。实验表明,在CIFAR-10数据集上VGG-16网络准确率降低小于1%的情况下,网络FLOPs降低5.64倍;同时Res Net-110网络准确率降低仅0.08%的情况下,网络FLOPs降低2.48倍。
其他文献
随着能源短缺和环境问题的日益严重,电动轮汽车作为电动汽车的重要分支,具有结构简单、操作简便、质量轻便、控制精准等优点,逐渐赢得了国内外研究学者的关注。为改善电动轮汽车的行驶里程,本文在对电动轮汽车用永磁同步轮毂电机(Permanent Magnet Synchronous in-Wheel Motor,PMSWM)优化设计的基础上,对电动轮汽车再生制动分配策略进行研究,使电动轮汽车回收更多的能量,
随着数字化影像器材日益生活化,图像法开始用于辅助膳食食物量的评估。本研究利用智能手机对餐盘中的食物进行拍照,并利用手机软件“微信”传送图片,参考制作的菜单营养标签,
锂离子电池容量和能量密度的提升主要受限于正极材料,选择电化学反应为多电子反应的正极材料是提高电池能量密度的有效途径。氟化铁(FeF_3)有能量密度高、热稳定性好、成本低廉等优点,被认为是具有发展前景的锂离子电池正极材料。然而,FeF_3电导率极低,电化学反应动力学较差,阻碍了FeF_3作为高容量正极材料的实际应用。为了解决这些问题,需要构建纳米结构和与导电材料复合来提高FeF_3的电化学性能。在本
2017年中国社会消费品零售总额达36.6万亿元,其中网购占比15%,消费成为国民经济的第一驱动因素。随着移动互联网普及,用户增速放缓,流量红利消失,纯电商进入发展瓶颈,线上巨
为改变危化品生产包装环节依靠手工生产的现状,危化品包装行业需要提升包装生产线的自动化水平,这也是时代发展的必然趋势。危化品生产涉及国家安全,以及人民的生命和财产安全。在目前国内现有包装技术难以满足危化品包装的市场需求,也无法得国外相关技术支持的情况下,本课题研发设计适用于粉状危化品上袋包装机的自动上袋装置。本文的主要内容包括:首先,利用概念设计分析了上袋工艺的功能需求,并将上袋功能分解成不同的子功
富勒烯是纳米物理研究和应用中比较重要的一类团簇分子,上世纪八十年代C60被发现制备,人们对该典型笼状富勒烯进行了大量研究,并在材料、医学等广泛的实际应用领域展开探索。
目的:肺癌是目前影响人类健康的主要癌症之一,非小细胞肺癌则是肺癌的主要类型。肺癌死亡率一直居高不下,开发新型抗肺癌药物迫在眉睫。本研究探讨一种新型双芳基脲类化合物(
永磁同步电机现已广泛应用在工业生产和日常生活中,随着科学技术的进步和人们对生产、生活水平的要求越来越高,具有交流调速系统的相关装备和设施对其控制策略提出了更高的要求。模型预测控制应用在永磁同步电机交流调速系统上可以同时优化多个控制目标,面对不同的应用场合,可以灵活调节各控制目标的控制性能,同时具有优秀的动态和稳态性能。本文以永磁同步电机传统直接转矩控制为基础,结合模型预测控制理论,主要围绕改善电机
近年来,我国提倡大力发展职业教育。“十一五”规划纲要实施以来,我国职业教育聚焦提升人才培养质量,由普教化、技能化逐步向全人教育转变。高分低能的“应试机器”,缺乏独立思考能力的“指令执行者”和只懂技术却品德低下的“技术工具”已不再满足职业教育的人才培养目标。除了过硬的专业知识和高超的行业技能外,现代职业教育更关注“准职业人”高尚的伦理道德情操、良好的品行习惯和健全的精神人格的。礼仪,是社会交往的行为
随着纳米结构的提出,纳米材料受到越来越多的关注,其中一维纳米结构因其独特的各向异性、较少的缺陷位点、良好的传质导电性等优点受到追捧。因此人们尝试制备一维Pt纳米线应