深度网络模型压缩及其在人脸识别的应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:qq2009liuwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习在图像、语音、自然语言处理等众多领域的应用取得巨大的成功,但深度网络模型因其复杂的网络结构和大量的网络参数,需要很多的运算量和存储空间开销,难以在存储和计算资源有限的硬件设备上进行部署,尤其是在移动设备。因此,如何在保证深度网络模型准确度不下降的前提下,通过对网络模型进行精简处理,以减少对硬件设备计算能力的要求和存储资源的开销,这是一个具有重要意义的研究问题。本文主要针对深度网络模型压缩进行研究,并将其应用于深度人脸网络模型,具体工作如下:1.网络剪枝是一种用于去除网络冗余连接以减少网络冗余计算量的技术,该技术的关键是明确网络冗余连接,而目前关于网络冗余连接没有准确的定义。虽然网络连接的权值大小与网络重要连接相关,但前提需要确定网络重要连接的阈值。为了解决现有网络剪枝方法在确定网络剪枝阈值和选取重要连接权重方面的不足,本文基于网络初始状态和最终状态的差异,提出了一种新的确定有效网络剪枝阈值和选取网络重要连接权重的方法。2.与目前的人脸网络模型依靠构造复杂的网络结构或非公开人脸数据集实现优越性能不同,本文使用残差网络结构与MFM激活函数设计相对小型的人脸网络模型,在常用公开的人脸数据上进行训练,在LFW人脸数据集上测试,取得较高的准确度。本文通过构造新的ResNet+MFM网络模块,以提升网络的特征提取能力,同时为了有效地提升网络准确度,本文采用A-Softmax损失函数进行网络模型的训练。3.为了减少网络模型参数对存储空间的开销,通过将本文的冗余权重去除方法与权重量化和哈夫曼编码压缩相结合,对本文的人脸网络模型进行深度网络模型压缩,以实现网络模型冗余权重的去除和存储空间的减少。
其他文献
近日,宁波市教育局出台《关于加强中小学劳动教育的指导意见》,明确要求保障中小学生平均每天劳动不少于1小时的消息,引起社会广泛关注和广大家长热议。$$即使在要求德智体美劳
报纸
汾河中游河道上起兰村下至洪洞县石滩,河长266.9km,是山西省汾河河道管理的重点河段。经过历年的汾河治理.河道工程建设成果显著。当前应加强城区防洪非工程措施建设管理,加大河道
一封封带着鲜红手印的请战书、一个个迅速打包完毕的行囊、一张张无比坚定的面孔……到前线去!到武汉去!疫情发生以来,人民军队闻令而动,迅速组成了军队支援湖北医疗队。从除夕夜抵达至今,这群可敬可爱的人民军医与武汉人民并肩战斗,在最困难、最危险的岗位上,他们勇敢地把使命责任扛在肩上,把人民的安危记在心上,抱着坚决打赢疫情防控阻击战的决心,用自己的实际行动诠释着党员两个字的真正含义,让党旗在抗击疫情一线高高
4月8日晚7点半,记者走进解放军歌剧院演出大厅,舞台上的胡杨树、指挥所、迷彩元素、可升降转动的舞台,使观众进入剧场大厅就像进入了演习的迷彩通道,仿佛和剧中官兵上了同一辆战
报纸