论文部分内容阅读
深度学习在图像、语音、自然语言处理等众多领域的应用取得巨大的成功,但深度网络模型因其复杂的网络结构和大量的网络参数,需要很多的运算量和存储空间开销,难以在存储和计算资源有限的硬件设备上进行部署,尤其是在移动设备。因此,如何在保证深度网络模型准确度不下降的前提下,通过对网络模型进行精简处理,以减少对硬件设备计算能力的要求和存储资源的开销,这是一个具有重要意义的研究问题。本文主要针对深度网络模型压缩进行研究,并将其应用于深度人脸网络模型,具体工作如下:1.网络剪枝是一种用于去除网络冗余连接以减少网络冗余计算量的技术,该技术的关键是明确网络冗余连接,而目前关于网络冗余连接没有准确的定义。虽然网络连接的权值大小与网络重要连接相关,但前提需要确定网络重要连接的阈值。为了解决现有网络剪枝方法在确定网络剪枝阈值和选取重要连接权重方面的不足,本文基于网络初始状态和最终状态的差异,提出了一种新的确定有效网络剪枝阈值和选取网络重要连接权重的方法。2.与目前的人脸网络模型依靠构造复杂的网络结构或非公开人脸数据集实现优越性能不同,本文使用残差网络结构与MFM激活函数设计相对小型的人脸网络模型,在常用公开的人脸数据上进行训练,在LFW人脸数据集上测试,取得较高的准确度。本文通过构造新的ResNet+MFM网络模块,以提升网络的特征提取能力,同时为了有效地提升网络准确度,本文采用A-Softmax损失函数进行网络模型的训练。3.为了减少网络模型参数对存储空间的开销,通过将本文的冗余权重去除方法与权重量化和哈夫曼编码压缩相结合,对本文的人脸网络模型进行深度网络模型压缩,以实现网络模型冗余权重的去除和存储空间的减少。