基于知识蒸馏的轻量化神经网络的研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:nathon_zhwang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度模型性能提升的同时,模型参数增加、内存使用资源增加、训练时间过长、计算量过大等问题接踵而至。这些问题使得嵌入式设备、集成设备等资源受限机器无法正常使用,从而影响深度学习的应用推广。在此背景和市场需求下,针对模型压缩方法的研究具有重要意义,知识蒸馏是一种近几年来被广泛关注的模型轻量化方法,学生模型通过模仿教师模型进行训练。学生网络模型在教师网络模型的指导下,可以更好地学习数据集中的结构化知识。基于此,根据两种不同的任务角度,提出了相应基于知识蒸馏策略的改进优化方法。主要工作内容如下:(1)基于知识蒸馏,提出了多模块训练方法。分析了当前知识蒸馏方法在分类任务中的局限性,利用知识蒸馏模型的独特性,将蒸馏过程分为多个模块,若干教师网络模型特征学习模块和一个自学习模块。在教师网络模型特征学习模块中,每个模块之间不受影响,损失函数采用独立计算的方式进行;在自学习模块,舍弃教师网络模型相关权重,使用学生网络模型直接在数据集中进行训练。(2)提出了基于锚点的样本框检测方法(GT-KD)。利用锚点和真实样本框进行相关性计算,从网络模型维度上生成特征GT掩码,从而避免了复杂的数据预处理。通过对GT掩码过滤阈值进行相应调整来满足训练时不同阶段和精度的需要。并提出特征适配函数,学生网络经过特征适配函数的变换,将会得到与教师网络相同的结构,有助于后续的蒸馏步骤进行。(3)设计并实现了基于知识蒸馏的无人车环境感知系统。基于上述研究成果,将GT-KD样本框检测方法应用于感知系统中物体检测功能,有效减少工控机内存使用量,提高运行速度。并将预测结果绘制在视频中,通过可视化界面进行展示。系统设计实现了硬件监测系统,系统的资源使用情况和功能配置都可以通过前端界面进行查看和调整。通过对公共数据集的实验证明,多模块训练方法可以有效地提高分类水平,在Imagenette数据集中,学生网络模型准确率达到97.4%,与教师模型的差距缩小到了1.8%。经过GT-KD方法得到的物体检测模型有比小型网络独自训练更好的效果,在MS COCO数据集中准确率提升了3.2%。将GT-KD方法结果应用到无人车环境感知系统后,硬件资源有限的情况下也可以流畅运行多个网络模型。
其他文献
随着物联网时代的到来以及计算机的广泛使用,各种应用和服务使得人们的生活品质愈发地提高,人们的生活愈发便捷化。但与此同时,随着数据量的爆发式增加,大量带宽资源被占用,特别是作为服务中心的云计算设备,容易在高峰期出现链路拥堵的情况。并且随着人们对服务质量QOS的不断提高以及智能应用例如自动驾驶的不断发展,传统云计算所提供的延时性渐渐无法满足需求,这时将部分计算放入边缘计算设备已成为了热点并被运营商等特
随着云计算、5G技术的快速发展,与日俱增的网络应用场景对虚拟网络功能(Virtual Network Functions,VNF)的灵活性与可定制化程度提出了更高的要求,需要设计新型网络协议算法来提供更加灵活可定制的队列调度、流分类等数据包处理方法。然而传统VNF中的数据包处理通过内核协议栈实现,代码冗长且流程固定,导致VNF中新型网络协议算法的开发门槛高、可定制化程度低。本文研究分析了VNF中新
随着新的网络服务类型不断涌现,以及在线视频等业务的大量推广,使得网络流量井喷式增长。而传统通信网络依赖专用、封闭硬件设备的特点,让网络扩容以及新业务的开发和部署都困难重重。网络功能虚拟化(Network Function Virtualization,NFV)通过软硬件解耦的方式,实现了使用虚拟化软件和廉价通用计算设备来提供各种网络功能。网络服务一般可以被分解为多个网络功能的组合,业务流按照顺序依
随着通信技术和软件技术的不断成熟,车联网的发展也越来越迅速,同样,车联网平台的风险也引起了越来越多人的关注。本文正是在车联网平台的基础上,使用大数据收集和分析技术以及相应的风险分析模型,并结合实际的车联网背景,基于《智能网联汽车产品测试评价白皮书》中的分析准则,建立了一套用于分析和评估车联网平台中不同对象风险信息的系统。整个系统包含了车载端和服务端,车载端包含视镜网、数据采集模块、消息中间件和数据
随着PCIe协议的发展,PCIe接口的产品速度越来越快,但数据传输过程中依然存在一些延迟,故降低PCIe接口的延迟已经成为当前研究的重点课题。因此,本论文针对上述问题,在深入分析物理层发送逻辑和接收逻辑的基础上,对加解扰模块和弹性缓冲器模块进行了优化,并进行了功能仿真和FPGA原型验证,以期降低PCIe接口的延迟。主要内容为:(1)在加解扰模块,通过两种方法进行了设计。一方面,采用常见的并行扰码,
网络流量态势感知能够快速准确地反映出当前网络流量的运行状况,也能够预测未来的网络流量运行趋势,是网络流量管理的一种重要手段。结合SDN网络和ONOS控制器的特点,本文设计并实现网络流量态势感知系统,其可以根据功能分为流量态势指标提取子系统、流量态势评估子系统和流量态势预测子系统。本文所做的主要工作如下:第一,设计并完成流量态势指标提取子系统。首先考虑到完备性和易得性分层构建流量态势指标体系;再设计
随着大规模计算能力的提升,人工智能话题火热,深度学习各领域发展迅猛,在诸多领域上深度神经网络已经达到人类水准,某些特定任务中甚至远超人类水平,其应用也慢慢融入社会的学习和生活之中。但人工智能背后的安全问题日益凸显,有研究表明深度学习及机器学习模型易受到对抗样本的攻击。对抗样本为在干净样本上添加特定的微小噪声所形成的输入样本,能使模型给出错误的结果。通过近几年研究,在对抗样本领域的研究主要分为对抗攻
容器是近年来出现的一种虚拟化技术,广泛应用于云计算领域,它极大的方便了云计算应用的部署,越来越多的应用转向了使用容器开发与部署。在众多容器编排管理工具中,Kubernetes正在成为一种事实的标准,它提供了一套集群自恢复机制,包括容器的自动重启、自动调度以及自动备份等。但是,Kubernetes的缺省调度器依赖于应用属主提供的资源分配需求,没有考虑实时资源的使用情况。并且随着多集群架构的应用,通常
随着互联网时代的来临,在线对弈类游戏已经融入到了全世界人民的娱乐生活中。棋牌类游戏凭借其简单的操作、丰富的策略性、较快的游戏节奏等特点,在传统线上平台上快速发展,获得了大批忠实的玩家群众。线上对弈,寓教于乐,在当前疫情阶段,得到快速发展。本课题基于真实的项目需求,为国际象棋类教学活动设计一个在线多人对弈系统。基于此,本文设计并实现了一款云平台下的棋类对弈系统,为全球棋类游戏玩家提供一个跨平台的对弈
随着互联网和物联网的高速发展,新的业务场景层出不穷,云计算和边缘计算技术应运而生。一方面,云计算技术为用户访问互联网上海量计算资源提供了便利。普通用户不需要了解集群的内部原理,也不需要具备计算机专业背景知识,即可轻松获取大量云端资源。另一方面,云计算技术高延迟、高能耗的缺点限制了它的使用场景,而边缘计算将资源部署至更加靠近用户的边缘端,具有网络延迟低、宽带需求低等优势,可以适应智能家居、数字医疗、