基于自蒸馏的2D人体姿态估计

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:szr520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是计算机视觉领域重要的研究方向之一,目的是从给定单张图像中检测出人体关节点的坐标位置,是行为识别、人机交互等下游应用的基础支撑。目前人体姿态估计算法主要基于深度卷积神经网络实现。首先,由于模型采用深度网络,直接利用输出端误差通过反向传播优化参数,会导致网络浅层部分参数梯度消失。多输出中继监督虽然可以避免浅层梯度消失,但只考虑了多个输出与真实标签之间的误差,未考虑多个输出之间的联系。其次,由于人体姿态估计模型复杂,无法部署到计算资源有限的设备上,通常情况下研究人员采用知识蒸馏的方式对模型进行压缩。知识蒸馏压缩模型需要已训练的大模型和待训练的小模型。由于模型输入输出分辨率较大,导致压缩过程耗时、占用资源多。再者,现有基于深度学习的人体姿态估计模型或只关心模型性能,或只关心模型压缩,并未在训练时联合考虑模型性能的提升与模型压缩的实现。本文从这一角度出发,联合考虑了中继监督和知识蒸馏的缺点,将中继监督思想与知识蒸馏思想相结合,提出了两种基于自蒸馏的模型训练方法:单一自蒸馏和集成自蒸馏。它既建立了中继监督多个输出之间的联系,提升了现有模型的性能;同时又避免了知识蒸馏压缩模型需要已训练完成的教师模型的缺点。本文的主要研究内容与贡献点如下:(1)提出了一种单一自蒸馏算法,该算法将中继监督与知识蒸馏相结合,通过中继监督算法产生多个不同深度的子模型,将最深层子模型视为教师模型,其余浅层子模型视为学生模型,学生模型接受教师模型预测结果和真实标签的共同监督学习,教师模型只接受真实标签的监督学习。(2)在单一自蒸馏的基础上,进一步将集成蒸馏嵌入,提出了一种集成自蒸馏算法。与单一自蒸馏算法不同的是,集成自蒸馏算法将当前浅层网络视为学生模型,后续所有子模型均视为其教师模型,学生模型接受多个教师模型预测结果和真实标签的多重监督学习,最深层子模型只接受真实标签的监督学习。(3)针对所提出的两种自蒸馏算法,本文在MPII数据集上进行了广泛地实验验证。实验结果表明:与中继监督算法相比,两种自蒸馏算法可以以同样的实验代价实现更好的模型性能;与传统知识蒸馏压缩模型相比,两种自蒸馏算法不需要已训练好的教师模型便可以实现模型压缩,且性能优于传统知识蒸馏压缩。
其他文献
本研究利用X大学本科生通识教育课程学习投入与核心能力提升调查的数据,运用描述统计和回归模型的分析方法对X大学本科生的通识教育课程学习投入现状、核心能力提升现状,以及通识教育课程学习投入与核心能力提升之间的相关性进行了研究。本研究将有助于进一步丰富学习投入理论,同时,对于提升X大学及其他院校的通识教育课程质量具有一定的借鉴意义。研究发现:本科生整体的通识教育课程学习投入程度相对较低,学生在各个维度上
<正>皮亚杰说:"儿童学习数学的最佳方法应该是组织和创设一个让儿童能在其中尽其所能,充分发展自己的合适的环境。"如何贴近幼儿的"最近发展区",提供适合于幼儿摆弄操作的材料,并创设能够激发起幼儿数学操作愿望、充分发展其数学思维的环境,是我在预设小班数学区材料投放时重点思考的问题。经过一段时间的摸索,我发现,材料的情境性、多元性以及渗透性是有效激发幼儿活动兴趣、影响幼
期刊
随着世界军贸市场的成交额迈入千亿美金,军贸不仅在军事外交和地缘政治上扮演重要的角色,同时也是拉动经济增长的新动能。得益于国家一带一路的政策红利和近年来军工科技的长足进步,国内各军工单位纷纷开始重视国际化市场营销,主动投身军工国际贸易的浪潮中。电子类军工企业作为输出高端产能的代表,如何调整营销策略从而把握当前市场机遇,引起了国内各电子类军工企业的研究和探索。由于国内军工企业长期身处非充分竞争的垄断行
中国人口规模巨大,对于教育的需求也在不断的扩张,现有的公共资源已经远远无法满足居民的教育需求,而民办院校教育体系在国内教育体制中的作用越发凸显。发展至今,中国民办教育历经了从无到有、从小到大的艰难发展历程,已经形成了一定规模的民办教育体系。新的经济形势下,中国教育产业也逐渐转向消费升级的发展路径,民办教育的渗透率不断地提升,这是由政策、经济和技术等多方面因素共同推动发展的,尤其是国家对民办教育扶持
《青春之歌》是杨沫的代表作,也是中国文学史上的经典作品。以往对《青春之歌》进行的专书研究,主要集中在文学方面,而从语言学的角度进行研究的文章数量较少。本文以小说《青春之歌》为研究对象,从语言形式入手,立足于语言学相关理论,运用统计、归纳、描写和比较法,探究这部小说的语言特色,以语言实例阐述小说的语言风格,并尝试揭示风格成因。论文共分为五个章节。引言部分介绍杨沫的一些情况和《青春之歌》的内容,介绍小
隐逸文化在中国传统文化中虽然一直处于非主流的位置,但在文学史上常盛不衰,并对中国文学有着相当重要的影响。明代及清初的白话小说多有隐逸故事,小说家通过对隐逸形象的塑造、隐逸人物的生活环境描写和具有隐逸色彩的诗词来表达其隐逸思想与隐逸情怀,使得小说中蕴含着丰富的隐逸文化。明代及清初白话小说中的隐逸形象众多,主要分为四大类:一是由隐入仕的隐士;二是由仕到隐的隐士;三是终身隐逸的隐士,四是另类隐士。每一大
宁夏隆德周家嘴头遗址是一处仰韶时期制陶业特征显著的聚落,经过连续的发掘共清理陶窑42座,其中仰韶晚期陶窑33座,陶窑的数量之多和分布密度之大在其他同时期遗址中较为少见。周家嘴头遗址仰韶晚期遗存最为丰富,出土了大量的陶器标本,这为我们研究当时陶器制作与生产提供了实物证据。我们基于周家嘴头遗址发现的陶窑和出土陶器开展了多次的陶器制作及烧制实验,从而对周家嘴头遗址仰韶晚期整个制陶业的操作链技术及生产方式
近年来,由于现代社会与经济的快速发展,用人单位在招聘时也越来越重视求职者所具备的能力。然而,由于中职生年龄较小、学历较低等缺陷,毕业生在就业市场中容易处于劣势,这就要求中职学校不能只教授知识,还要培养学生一种能够快速适应工作岗位、获得职业技能的职业核心能力,帮助学生提高就业竞争力,实现可持续发展。同时,如何在中职的专业课堂中实现有效教学,也是长期以来困扰教师的一个问题。中职学生由于其群体的特点,他
站城一体开发是日本进行紧凑高效的城市开发建设和铁路公司实现土地经济、社会价值的重要手段,能够有效带动车站周边区域均衡发展、创造更多就业机会。首先梳理日本轨道交通枢纽站由单一车站建筑发展到复合的站城一体开发模式近百年的历史演化过程。日本站城一体开发模式能够得到广泛推行,深入贯彻于轨道交通投资、规划、设计、建设、运营等各个环节,与法律法规适时修订、土地分阶段开发机制、沿线区域吸引大学校区入驻等市场化手
本文研究的主要内容是冠心丹参软胶囊的制备工艺及其质量标准的控制,为新药的进一步研发和剂型的扩展奠定基础,并为其前期研究提供实验依据。本文采用的实验方法主要是正交的实验法,优选出本剂型的最佳提取工艺和制备工艺:首先用粉碎机粉碎三七原料药,使其成为细粉;将丹参粉碎成中粉,主要是乙醇渗漉提取丹参提取时间、提取次数、乙醇浓度进行正交设计优化提取方案,以浸膏得率为评价指标,最优方案为90%乙醇浓度、提取6小