基于深度学习的移动端图像识别算法

来源 :北京邮电大学 | 被引量 : 17次 | 上传用户:caiwei39602250
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于深度学习的模型压缩技术是近年来的一个热门研究方向,如今深度学习技术非常火热,凭借强大的学习能力和非线性特征表达能力,使得基于深度学习的图像识别模型在不断逼近计算机视觉各项任务的精度极限。同时,模型的深度和大小也在呈现成倍的增长,在移动端设备的视觉应用中,深度模型无疑对设备的存储开销和运行速度带来了巨大的挑战。本论文主要研究的是用于移动端的深度学习模型压缩技术。用于移动端的深度学习模型压缩技术,本文主要从两方面着手研究:一个是基于预训练模型的参数压缩;另一个是设计参数数量少、运算量小的轻量级卷积神经网络模型。在参数压缩方面,本文首先研究基于预训练模型中不同的参数值修剪策略对压缩模型性能损失的影响,然后提出一种非线性分段稀疏化的方法,并在稀疏模型的基础上提出了一种均匀量化的方法,对模型大小进一步压缩;在轻量网络方面,本文提出一种参数量和运算量较小,同时又有着不错的识别性能的轻量级CNN网络模型。具体地,本论文首先总结了目前针对移动端的深度学习模型压缩技术的各类方法,然后改进了基于预训练模型的压缩方法。本文先对比了不同方式的参数值修剪策略对模型精度损失的影响,并发现相比于一次性修剪,多次迭代修剪方式对于预训练模型的压缩精度损失更小,然后基于此结论提出了一个更为精细化的非线性分段稀疏策略,通过缓和参数修剪后期的稀疏比变化,进一步降低模型压缩过程中的精度损失。随后,在上述参数修剪得到的稀疏模型基础上,本文提出了一种简洁有效的均匀量化方法,即在有效参数分布范围内等间隔的选取量化中心,在微调训练中固定中心值不变并更新参数量化的索引,最后介绍了参数稀疏存储的方法。本文侧重最新的大网络结构,结合上述方法,本文将预训练的Inception-v3大模型压缩了 8倍,精度损失小于1%,且在ARM平台上实际存储仅为12.8MB。在轻量网络设计方面,本文从轻量结构和提升网络性能两方面进行设计,引入了通道分组卷积层来减少计算量和局部信息融合的通道加权分支来提升模型性能,实验表明该轻量网络在移动端ARM平台上的实际存储比VGG-16网络小了 27倍,计算速度比VGG-16快了8倍。
其他文献
根据我国大学的专业特点,在"大学生创新创业训练计划"实施的过程中,要始终坚持"兴趣驱动、注重过程、实验自主"的原则。要不断对训练项目进行创新,要运用"公司模拟管理"的实验方法
民营企业对河北省经济社会发展起到重要支撑作用,支持民营企业发展是商业银行服务实体经济的职责担当,反过来,更好地满足民营企业金融需求也将促进商业银行转型发展战略的加
随着大数据时代的到来以及云计算应用的深入,人工智能技术被应用于财务方向,财务机器人登上历史舞台。财务机器人的到来给传统会计人员敲响了警钟。时代在变,从事简单重复劳
目的:探讨自体外周血造血干细胞移植治疗恶性淋巴瘤的护理干预。方法:收集恶性肿瘤20例自体外周造血干细胞移植的患者,在治疗中实施护理干预措施。结果:此组患者发生并发症的