论文部分内容阅读
近年来,由于卷积神经网络(Convolution Neural Network,CNN)在图像识别、语音识别、自然语言处理等诸多领域中取得了前所未有的成果而被广泛应用,CNN模型在不断逼近计算机视觉任务的精度极限的同时,其深度和尺寸也在成倍增长。模型体积庞大、对硬件资源要求高、存储开销大以及功耗惊人等问题都非常不利于其在移动端和嵌入式端的部署和应用。在这样的情形下,对CNN模型进行压缩显得尤为重要。早期就有学者提出了一系列CNN模型压缩方法,如权值量化、低秩分解等,但是压缩率和效率远不能令人满意。目前,针对CNN模型参数冗余问题,研究者们通过设计高效的卷积结构代替传统的卷积层,以达到减少参数量和计算量的目的,但是此类方法仍然存在神经元(或特征)退化严重、模型泛化能力低等问题;另外,针对特征冗余问题,研究人员提出了以逐层的方式对通道进行剪枝的方法,此类方法对常规卷积层堆叠而成的结构剪枝效果较好,但不适用于高效卷积结构(如深度可分离卷积,高效残差单元等),具有较大的局限性。针对以上问题,本论文提出了一种基于非均匀分组逐点卷积的神经网络模型压缩方法及一种基于特征冗余分析的神经网络跨层剪枝方法。本论文的主要工作和贡献点在于:1.结合基于深度可分离卷积构建的扩张残差单元和降采样层后置策略,本文首先提出了一种高效的神经网络模型,该模型解决了现有模型存在的神经元退化严重、模型泛化能力低等问题;更进一步,针对上述模型中参数占比较大的逐点卷积层,利用卷积核在空间频率域的非线性分布关系对其进行分组,提出了一种基于非均匀分组逐点卷积的模型压缩方法。与基于均匀分组卷积的方法相比,该方法更有利于学到对输入图像(或特征)更合理的响应。最后,通过实验证明本方法在参数量有限的情况下,模型尺寸更小,预测时间更少,在分类任务上还能取得相比同类方法更高的准确率。2.针对扩张残差单元中深度卷积层参数量极少的特点,提出一种基于特征冗余分析的神经网络跨层剪枝方法,主要思想是将批量归一化层中的可学习参数?作为刻画特征重要性的因子,然后根据该重要性因子及全局剪枝阈值仅对模型中的逐点卷积层进行剪枝,从而更好地保留深度卷积层的有效信息。所提方法克服了现有逐通道剪枝方法只能逐层裁剪而不适用于高效卷积结构的局限性。实验仿真部分首先对贡献点1中提出的高效神经网络模型进行跨层剪枝验证,此外结合扩张残差单元和跨层剪枝方法对现有的经典去噪模型进行联合压缩。实验结果证明本文提出的方法在有效地降低模型参数和模型尺寸的同时,能够保持良好的分类精度和去噪性能。