基于卷积神经网络的模型压缩研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:cyalil
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络(Convolution Neural Network,CNN)在图像识别、语音识别、自然语言处理等多个领域取得了卓越的成绩。为了进一步发掘网络潜力,提升网络预测精度,神经网络的结构日趋复杂,规模日益庞大,使得传统的计算设备无法有效运行这类模型。可以有效运行这类模型的高性能设备往往价格昂贵、功耗巨大。而正常工业环境中使用的设备有着严格的约束,其价格、计算力、网络传输带宽、内存等等都是受限的,此外工业场景下对模型处理延迟也有着严格的控制,其要求模型在规定时间内准确地给出处理结果。这使得大型高精度CNN模型在工业场景下无法大规模地使用。由于CNN模型具有冗余性,所以我们可以利用有效的模型压缩算法缩小大型CNN模型,降低其参数量(大小)和计算量(运行时间),让资源受限场景下的CNN模型可以在规定的时间内准确高效地给出预测结果。本文设计了两种模型压缩手段,并成功将它们应用到实际场景下,本文的主要贡献如下:1)提出了一种新型轻量级卷积神经网络Super Interaction Neural Networks(SINet)。为了有效压缩CNN网络,一种可行的途径是充分复用轻量网络的有限结构中的信息,以达到和大型网络相近的精度。所以首先为了提高深度网络模型在宽度上的信息交互,设计了交互式跳跃连接结构(Exchange Shortcut Connection),它可以集成来自不同卷积组的信息,而无需任何额外的计算成本。另外,为了提高深度网络模型在深度上的信息交互,提出了密集漏斗结构(Dense Funnel Layer)和基于注意力机制的决策层(Attention Based Decision Layer)。最后,通过在Image Net数据集上进行综合对比实验,证明了SINet优于最新的轻量级模型和广泛使用的通用网络(如VGG-16);在CIFAR-100数据集上进行消融实验,证实了SINet中新设计的组件的有效性以及适用性。2)提出了一种无须事先指定裁剪数量,在训练中学习到网络结构的网络剪枝算法,称为自适应网络剪枝算法(Adaptive Dynamic Pruning Algorithm),简称ADP。将网络的整体训练流程分成两个部分,先训练网络权值参数,后训练网络结构参数。经过不断进行交互迭代训练,最终获得一个轻量型高精度双向平衡网络。ADP算法可以在网络训练中将一个大规模模型训练成一个轻量化模型,并且保持了大型模型在数据上的精度和泛化能力。通过实验,验证了ADP算法的有效性,展示了其相对于其它类似算法的优势;将ADP算法与不同模型结合,表明了ADP算法的通用性,与上文SINet模型相结合,可以使得模型更加轻量化,以满足现实需要。3)本文提出的两种网络压缩方法成功地应用在了实际生产环境中。根据人脸识别算法的特性对人脸特征提取网络进行压缩,在保证人脸识别精度的同时,大幅度降低了网络计算量和参数量,并对网络实现加速效果,验证了在实际生产环境中本文提出的压缩方法的巨大作用。实验表明,本文提出的两种方法相比较于已有的模型压缩手段,可以在保证模型精度的同时实现更高的压缩比率。在相关应用实践中,本文提出的两种方法可以灵活地应用于实际的人脸识别深度学习系统中,充分证明了其实用价值。
其他文献
近年来,导向基团指向的过渡金属催化碳氢键官能化反应作为一种简单高效的合成方法已广泛应用于天然产物、药物和农药分子的合成和结构修饰。导向基团作为配体通过与过渡金属配位,可以活化金属将其递送到目标碳氢键位置,从而实现区域选择性的碳氢键活化。导向基团不仅能够促进金属催化剂与目标碳氢键的接近,而且还赋予了所形成的中间配合物必要的稳定性和反应活性。然而,导向碳氢键官能团化存在一个明显的缺点:即需要预先安装以
在有机合成中,选择性的C(sp3)-H官能团化一直是一个挑战性的领域,较为活跃的研究方向主要有(1)选择带有活泼C(sp3)的底物,例如2-甲基喹啉,苯乙酮,苯丙酮等以较为简单易得的条
随着国家经济的日益繁荣,金融业在最近一段时期进入了一个快速发展的阶段,民间资本多数都是通过小额贷款公司开始流入这一领域。然而,在国家从宏观角度不断对行业发展和经济增长进行调控的过程当中,小贷行业的竞争日趋激烈,所需要承受的风险压力也越来越大,这不仅表现在经营风险方面,国家政策和企业操作都会导致风险的增加,正是在这一背景下,金投小贷公司的风险管理问题尤为突出。由于公司风险组织架构不合理、管理制度不健
云存储是云计算最基本的服务之一,它是一种可配置的数据存储模型,该模型允许数据所有者在不保留本地副本的情况下将其文件存储在云中,从而大大减轻了数据所有者对本地文件的存储和管理负担。与传统的存储方法相比,云存储服务具有许多显著的优势,如随时随地的数据访问、独立于位置的按需服务和灵活的资源。当前,云存储正在为越来越多的个人和企业提供便利。但是云服务器不是完全可信的,云端数据可能会遭到损坏,而云端数据的完
近年来,随着对汽车产业节能减排及提高安全性提出越来越高的要求,越来越多的研究者开始研究具有优异综合力学性能的中锰钢,以兼顾汽车轻量化、碰撞安全性及经济性的要求。基于成分优化及组织调控,中锰钢的力学性能得到较大幅度提升,但在中锰钢零部件冷加工成型及服役过程中面临的塑性变形和氢脆问题,日益成为其应用和安全服役的一个制约性因素。对此,本文针对一种新型的高强塑积含Al中锰钢0.25C-8.67Mn-0.5
随着人工智能技术的发展,很多新兴的AI产品已经落地,其中广受瞩目的自动驾驶技术已经愈发成熟,部分含有辅助驾驶功能的车辆已经批量投入生产。计算机视觉领域的物体检测技术作为实现自动驾驶的核心技术之一,通过对路面上的2D物体进行识别和检测,协助司机实时处理路面车况,规避风险,从而保障行驶安全,降低事故发生率。在目前自动驾驶的实时物体检测过程中,一方面物体检测的准确率需要继续提升,另一方面检测物体的误检、
铸造过程中液态金属的凝固过程决定了铸件的组织和性能,而金属凝固主要受铸型冷却的影响,因此控制铸型的冷却是提高铸件质量的关键之一,也是研究的重点。砂型3D打印技术摆脱了传统砂型的复杂度限制。利用砂型3D打印技术,本文设计了多层嵌套壳砂型结构,提出了基于多层嵌套壳砂型的水冷定向凝固工艺,旨在获得相比传统砂型铸造更加优异的凝固组织和力学性能。系统分析了多层嵌套壳砂型水冷定向凝固工艺下的传热,空气夹层提高
随着电子商务的发展,网上购物越发成为消费者购物的主流方式。由于巨大利益和消费者与电商平台信息不对称的情况,商家雇用一些人撰写不符合事实的评论信息误导消费者,影响人们的消费行为,造成电子商务市场混乱。因此,展开虚假评论检测研究具有实际的应用价值。虚假评论检测研究的意义在于识别评论中的虚假信息,避免人们在认识事物及购物消费时受到虚假信息的误导。为了解决现有模型识别能力较差、误判率较高、无法挖掘文本深层
中国已经形成了较为完整的焦化工业体系,但是,我国焦化行业仍有大规模的落后产能,产业集中度低。我国政府始终秉持着绿色可持续发展的观念,未来国家对于环境保护方面制定的政策会越来越严格,环保不达标的企业将会被市场所淘汰,因此环保也将成为当下乃至将来一段时期内进一步促进焦化行业更加规范、健康发展的重要因素。陕西黑猫公司作为省内焦化行业中的先锋企业,担负着推动省内炼焦技术发展的重任,在焦化产能落后,环保改革
随着社会信息化程度的不断提高,信息安全已成为至关重要的问题.而密码学贯穿于信息安全的整个过程,其中流密码是保密通信中一个重要的密码体制,它的安全性取决于秘钥流序列的