基于修剪与量化的卷积神经网络压缩方法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:knwin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经历了多年的发展,人工神经网络演化出多种独特的结构。卷积神经网络(CNN)由于在计算机视觉、语音识别和自然语言处理等领域的出色表现引起了研究人员的广泛关注。然而,随着CNN的功能越来越强大其网络模型也越来越庞大,训练耗时,对硬件要求苛刻等一系列问题制约着CNN的发展。因此,对CNN模型压缩的需求应声而出。针对上述问题,本文提出了一种基于逐步修剪策略的CNN模型压缩方法。与前人通过对权重修剪以减少CNN权重数量的压缩方法不同之处在于,对每一层的权重进行修剪时本文先选取当前层保留下来的权重的一部分,根据选取的权重子集设置当前次修剪的阈值,将绝对值小于阈值的权重删除。对修剪后保留的权重重新训练以弥补修剪带来的精度损失。继续选取当前保留权重的一部分执行修剪操作,然后重新训练保留下来的权重,直到达到最终的压缩率。与一般的修剪策略相比,逐步修剪策略考虑了当前层部分权重修剪后对剩余权重重要性的影响,使修剪粒度更细,减少因误修剪带来的精度损失。同时本文提出了一种量化后无需重训练的权重量化方法:区间量化法。使用区间量化法量化权重时需根据量化后用以表示权重的位数将当前层权重划分为相应的区间,每个区间内的权重用其所在区间的中间值表示。通过对CNN模型权重进行量化,将CNN模型的权重用更少的位数表示,减小模型存储需求,为CNN应用到嵌入式设备等存储空间有限的设备提供条件。最后使用经典CNN模型验证本文提出的方法。实验结果表明,对于LeNet-300-100和LeNet-5逐步修剪策略可以修剪掉98.2%和99.03%的权重,在相同修剪率的情况下逐步修剪策略优于大部分基于权重修剪的压缩方法。区间量化法与逐步修剪策略结合使用进一步压缩CNN模型。实验表明,两种方法结合使用后LeNet-5的压缩率为0.60%,比只用逐步修剪策略提高了53.49%。此外,该量化方法无需重新训练,与其他量化方法相比使用更为简便。
其他文献
近年来,在教育信息化、远程教育和web2.0等应用带动下,在线教育得到快速发展。当前的在线教育并不是完全以用户为中心,并不能根据用户的认知水平和认知风格,为每个用户提供最
随着网络技术的迅速发展,网络已经从各个方面不断地、深入地渗透到我们的社会生活当中。虽然网络给我们带来了太多的便利,但同时也使得信息安全的问题日益突出,已经成为影响国家政治稳定、经济发展、国防安全以及文化安全的重大问题。作为保障信息安全的密码学的重要分支,数字签名发挥着越来越重要的作用。基于属性的数字签名是于2007年提出的一类特殊数字签名,能够细粒度地划分身份特征,使得数字签名不再是签名者和验证者
Bezier曲线以及B样条曲线在传统几何设计中具有举足轻重的作用.近年来,随着几何工业的发展,传统Bezier曲线以及B样条曲线因其本身的缺陷已经很难满足人们的需要.与此同时许多有理形式的Bezier曲线被提出来,这解决了传统方法的问题,但有理化方法不仅存在渐进问题,而且权因子的使用不当会对曲线曲面设计产生一定的破坏性.鉴于上述问题,大量带形状参数的类Bernstein基或类B样条基孕育而出.目前
为满足尖端技术领域对钨合金零件提出的高表面质量要求,需对钨合金零件进行精密/超精密加工。但目前采用切削等方式加工时存在严重的刀具磨损现象,使获得的钨合金零件表面质
随着工业制造等行业的迅猛发展,工艺水平不断提高,作为保证产品质量的测量定位工作也变得愈发重要,实现高精度的自动化定位成为研究热点和难点。相较于人工定位,激光定位具有检测精度高、安全性好、操作便捷等优点,但是传统的激光中心位置检测算法对光斑形态要求较高,在光斑出现一定畸变时,计算结果可能会出现较大误差。因此,需要提高复杂情况下的激光光斑中心检测精度,保证测量工作的顺利完成。本文的主要研究内容是激光光
论文主要研究塔里木盆地柯坪、巴楚、塔中和塔北地区寒武系盐下肖尔布拉克组白云岩,以碳酸盐岩沉积岩石学、石油地质学、储层地质学等多门学科为理论基础,结合野外露头、岩心
红外探测技术在军事、农业、工业、交通、航空航天、医疗等领域有广泛应用。作为红外探测技术的核心器件,红外探测器及其应用技术是各国争先发展的热点和核心。扩大红外探测器成像面阵规模、缩小像元尺寸是红外探测器发展的主流方向。对红外探测器的验证测试是检验红外探测器性能品质的重要环节,也是红外探测器后端工艺改进的重要依据和支撑。多通道大面阵红外探测器在天文观测、光度测量、对地观测等领域有着至关重要的作用。我国
长周期结构因其特殊的显微组织和优异的性能而广泛受到研究者们的关注。由于其堆垛结构的复杂性以及其独特的组织结构,人们在对长周期结构物质在进行EBSD分析时,发现电子束入
在日常表达中,我们使用隐喻表达抽象的认知体验或者传达审美感受。同时,我们的认知思维机制和概念系统是建立在隐喻之上。因此,隐喻机制的计算实现是自然语言处理任务中必不可少的一环。隐喻计算旨在发掘和表征语言中普适存在的隐喻机制,一般包含如下两个方面的内容:一是识别语料中的隐喻表达,与非隐喻表达进行区分;二是描述隐喻的表述意义,实现隐喻意义的有效理解。本文基于隐喻的认知与语言学特性,运用相关计算模型,解决
近年来,随着科学技术的进步,收集到数据的维数也越来越大。因此如何有效地从海量数据中挖掘出有用的信息逐渐成为科学研究的热点问题。尤其是在生物统计以及基因研究的领域,数据的维度通常都是远高于样本数量(n>>p),又称之为超高维数据。目前统计学中的多数方法以及很多机器学习中的算法只能适用于低维数据,而高维以及超高维领域的研究却相对较少。在超高维的研究范畴中,通常会先将数据的维度降低到可以处理