论文部分内容阅读
基于深度学习的模型压缩技术是近年来的一个热门研究方向,如今深度学习技术非常火热,凭借强大的学习能力和非线性特征表达能力,使得基于深度学习的图像识别模型在不断逼近计算机视觉各项任务的精度极限。同时,模型的深度和大小也在呈现成倍的增长,在移动端设备的视觉应用中,深度模型无疑对设备的存储开销和运行速度带来了巨大的挑战。本论文主要研究的是用于移动端的深度学习模型压缩技术。用于移动端的深度学习模型压缩技术,本文主要从两方面着手研究:一个是基于预训练模型的参数压缩;另一个是设计参数数量少、运算量小的轻量级卷积神经网络模型。在参数压缩方面,本文首先研究基于预训练模型中不同的参数值修剪策略对压缩模型性能损失的影响,然后提出一种非线性分段稀疏化的方法,并在稀疏模型的基础上提出了一种均匀量化的方法,对模型大小进一步压缩;在轻量网络方面,本文提出一种参数量和运算量较小,同时又有着不错的识别性能的轻量级CNN网络模型。具体地,本论文首先总结了目前针对移动端的深度学习模型压缩技术的各类方法,然后改进了基于预训练模型的压缩方法。本文先对比了不同方式的参数值修剪策略对模型精度损失的影响,并发现相比于一次性修剪,多次迭代修剪方式对于预训练模型的压缩精度损失更小,然后基于此结论提出了一个更为精细化的非线性分段稀疏策略,通过缓和参数修剪后期的稀疏比变化,进一步降低模型压缩过程中的精度损失。随后,在上述参数修剪得到的稀疏模型基础上,本文提出了一种简洁有效的均匀量化方法,即在有效参数分布范围内等间隔的选取量化中心,在微调训练中固定中心值不变并更新参数量化的索引,最后介绍了参数稀疏存储的方法。本文侧重最新的大网络结构,结合上述方法,本文将预训练的Inception-v3大模型压缩了 8倍,精度损失小于1%,且在ARM平台上实际存储仅为12.8MB。在轻量网络设计方面,本文从轻量结构和提升网络性能两方面进行设计,引入了通道分组卷积层来减少计算量和局部信息融合的通道加权分支来提升模型性能,实验表明该轻量网络在移动端ARM平台上的实际存储比VGG-16网络小了 27倍,计算速度比VGG-16快了8倍。