基于参数和特征冗余的神经网络模型压缩方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yougboo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于卷积神经网络(Convolution Neural Network,CNN)在图像识别、语音识别、自然语言处理等诸多领域中取得了前所未有的成果而被广泛应用,CNN模型在不断逼近计算机视觉任务的精度极限的同时,其深度和尺寸也在成倍增长。模型体积庞大、对硬件资源要求高、存储开销大以及功耗惊人等问题都非常不利于其在移动端和嵌入式端的部署和应用。在这样的情形下,对CNN模型进行压缩显得尤为重要。早期就有学者提出了一系列CNN模型压缩方法,如权值量化、低秩分解等,但是压缩率和效率远不能令人满意。目前,针对CNN模型参数冗余问题,研究者们通过设计高效的卷积结构代替传统的卷积层,以达到减少参数量和计算量的目的,但是此类方法仍然存在神经元(或特征)退化严重、模型泛化能力低等问题;另外,针对特征冗余问题,研究人员提出了以逐层的方式对通道进行剪枝的方法,此类方法对常规卷积层堆叠而成的结构剪枝效果较好,但不适用于高效卷积结构(如深度可分离卷积,高效残差单元等),具有较大的局限性。针对以上问题,本论文提出了一种基于非均匀分组逐点卷积的神经网络模型压缩方法及一种基于特征冗余分析的神经网络跨层剪枝方法。本论文的主要工作和贡献点在于:1.结合基于深度可分离卷积构建的扩张残差单元和降采样层后置策略,本文首先提出了一种高效的神经网络模型,该模型解决了现有模型存在的神经元退化严重、模型泛化能力低等问题;更进一步,针对上述模型中参数占比较大的逐点卷积层,利用卷积核在空间频率域的非线性分布关系对其进行分组,提出了一种基于非均匀分组逐点卷积的模型压缩方法。与基于均匀分组卷积的方法相比,该方法更有利于学到对输入图像(或特征)更合理的响应。最后,通过实验证明本方法在参数量有限的情况下,模型尺寸更小,预测时间更少,在分类任务上还能取得相比同类方法更高的准确率。2.针对扩张残差单元中深度卷积层参数量极少的特点,提出一种基于特征冗余分析的神经网络跨层剪枝方法,主要思想是将批量归一化层中的可学习参数?作为刻画特征重要性的因子,然后根据该重要性因子及全局剪枝阈值仅对模型中的逐点卷积层进行剪枝,从而更好地保留深度卷积层的有效信息。所提方法克服了现有逐通道剪枝方法只能逐层裁剪而不适用于高效卷积结构的局限性。实验仿真部分首先对贡献点1中提出的高效神经网络模型进行跨层剪枝验证,此外结合扩张残差单元和跨层剪枝方法对现有的经典去噪模型进行联合压缩。实验结果证明本文提出的方法在有效地降低模型参数和模型尺寸的同时,能够保持良好的分类精度和去噪性能。
其他文献
热浸镀锌是工业中最常见的一种钢铁防止大气腐蚀方法,其生产流程是将前处理好的钢铁工件浸入到一定温度下的熔融锌液中从而使钢铁表面生成均匀的锌层。锌液的工作温度高,腐蚀性
高校图书馆是大学生及教职工们获取知识和查阅资料的重要场所,一直以来,人们对其的印象大抵可以用“严肃”“安静”等词语来形容。久而久之,其严肃性作为一个本质特征被不断
本文首先分析了高职院校学生党员发展实践中存在的问题,包括入党动机与信仰问题、入党程序与流程问题以及学生党员活动缺乏新意等,接着提出了提高高职院校学生党员发展成效的
以马斯洛的需求层次论和赫茨伯格的双因素理论为基础,用随机抽样问卷调查的方式,以中国移动Y分公司的员工为研究对象,分析了该公司员工工作时最看重的因素和员工对目前企业提
深度卷积神经网络已经在图像处理、语义理解等应用领域取得了巨大的成功,但由于其模型参数多、计算量大,使得神经网络无法直接在移动或嵌入式设备上运行。因此,对深度卷积神
一般电火花放电诱导烧蚀加工技术是利用从中空电极间歇喷出的高压氧气,与极间因火花放电产生的高温活化金属发生燃烧反应,用所释放的化学能蚀除材料,从而大大提高了材料的蚀除率
在厘清市制及"县改市"产生的相关背景的基础上,分析了中国特色的城镇化之路与县改市的客观要求。论证了城市的效率与要素集聚度之间存在难以确定的比例关系;中国的城镇化具有
电子商务是一个新兴专业,目前电子商务的实习实训的开展还处在探索过程中,完善校内实习实训体系是我校电子商务专业建设的重要组成部分,也是我校培养"职业人"的关键环节。本文
<正>几个世纪以来,社会分配不公问题不仅困扰着各国政府领导人和经济学家,各国人民对此也是深恶痛绝。同时,作为全世界各个市场经济国家普遍存在的现象,成为各国"久治不愈"的