基于目标检测的单人姿态估计与跟踪算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:xucaijuan302
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来智能监控、人机交互、智能家居、自动驾驶等领域的发展对于人物及其行为的检测与跟踪的研究提出了需求。识别和跟踪人体的骨架结构是人物动作分析的重要基础,目标检测与跟踪技术也迎来了新的发展需求——人体姿态估计与跟踪。姿态估计要求准确识别和定位图像中人体骨架关键点的位置;姿态跟踪则是利用视频中前后帧的关系检测和跟踪视频中的人体关键点。本文主要研究在自主识别目标人物基础上的单人姿态估计与跟踪,即利用目标检测算法自动检测出人物位置之后,进行目标人物的姿态估计与跟踪。该研究对促进人物行为分析和预测以及场景理解具有重要意义。目前的目标检测算法通常以目标边界框(锚框)的形式穷举出潜在目标位置,然后对边界框进行前景(目标)和后景(背景)的分类和精确位置的回归,这种检测方法相对低效并且需要昂贵的后处理程序;同时,现有的单人姿态跟踪算法研究较少,大多数基于光流的多人姿态跟踪算法更注重姿态估计的精度而非算法速度,无法满足在线跟踪的要求。针对以上问题,本文的主要研究工作如下:(1)对现有的基于锚框机制的目标检测和基于光流的姿态跟踪算法开展了研究。分析了锚框机制和光流法的不足,设计了免锚框的人物目标检测和基于孪生网络的姿态估计与跟踪的总体方案。(2)提出了基于Center Net的免锚框人物检测算法实现第一帧目标人物位置的检测。将目标人物的检测等价于目标中心点的检测以及目标尺寸的回归。通过实验验证了相比于经典的基于锚框的目标检测算法,所提出的目标检测算法在人物检测速度和精度上都有所提升。(3)设计了一种基于孪生网络和区域候选网络的单人姿态估计与跟踪算法。通过区域候选网络实现了目标人物的多尺度检测,详细设计了输入图片预处理过程和算法网络框架。为了实现目标人物姿态的跟踪,在孪生网络上增加了姿态估计分支,姿态估计分支与孪生网络共享特征提取网络。设计了姿态估计分支的网络模型,在基于热力图所预测的关键点位置上,补偿了因卷积步长引起的离散性误差,提升了关键点检测的精度。在公共数据集上检验了所提出算法的精度和速度。实验结果表明,相比于其它的姿态跟踪算法,所提出的算法实现了关键点检测精度和跟踪速度上的更好权衡。(4)将训练好的模型移植到可移动的便携式嵌入式AI平台上测试。对比了算法在不同硬件平台上的目标跟踪速度和精确率与成功率差异,并在嵌入式AI平台上进行了实际场景下的单人姿态估计与跟踪实验,实验结果表明,算法在实现良好的姿态估计效果的同时,能够达到实时的姿态跟踪需求。本文首次提出利用孪生网络完成单人姿态估计与跟踪,显著提升了姿态跟踪的速度,并且结合了区域候选网络实现了跟踪过程的目标多尺度检测。所提出的姿态估计与跟踪算法在智能监控、自动驾驶等领域具有广阔的应用前景。
其他文献
某市地铁18号线是快速轨道交通,设计时速是140km/h。本设计结合该工程的地质资料与线路资料,进行相应的盾构隧道结构设计。首先,通过对相关采用盾构法施工的工程类比分析,进行隧道的初步设计,确定围岩类型、拟定了盾构管片的尺寸大小,然后按照该线隧道线路的上覆土层厚度和地下水位的不同,选取了3个不同的具有代表性的横断面进行分析,其中包括这些过程:荷载计算、内力的计算、进行管片配筋设计、管片的抗震验算。
近年来,基于人体生物特征的用户身份识别和认证受到越来越多的关注。除了人脸、指纹和虹膜外,嘴唇同样是一项具有高鉴别力的生物特征。相比于其他生物特征,嘴唇特征包含静态和动态两个方面。研究表明,嘴唇序列的静态和动态特征包含大量与用户身份相关的信息,可作为一种新型的生物特征识别用户的身份,而如何从嘴唇序列中提取出最具有鉴别力的子片段仍是一个难点。同时,由于嘴唇特征的大量应用场景是在自然环境下,这种复杂场景
为了解决准确检测纤维成分含量难度大,以及现有纺织产品纤维成分含量定性与定量分析标准中对不同织物结构、花型颜色的纺织产品的取样方法缺少具体规定的问题,根据多年从事纺织产品分析的经验和相关标准要求,归纳总结了不同织物结构、花型、颜色的纺织产品以及袜子等特殊产品中纤维成分含量的定性与定量分析取样方法。
自然场景图像中的文本包含非常丰富的高级语义信息,对于场景的理解有着至关重要的作用。由于自然场景极具多样性,场景文本的检测与识别充满挑战,尽管在深度学习的推动下,其性能较传统方法已经有了显著的提升,但仍存在许多亟待解决的问题,是计算机视觉领域的一个热点问题。本文主要包含以下四个工作:(1)本文将文本检测视为一项密集回归任务,结合非局部神经网络嵌入了全局信息来扩大感受野,使其能够更好地应用于多方向文本
当前,中国面临着人口老龄化程度不断加深的问题,老年人口占全国总人口的比例持续增长。老年人的生活照顾、日常护理、健康保健等问题引起了越来越多人的关注,养老问题已经成为社会热点问题。近年来,在我国政策鼓励和扶持养老产业的背景下,实现养老服务智能化、信息化已经成为一种趋势。随着“大数据+”模式和相关技术的发展,智慧养老这一理念也逐渐兴起和普及。电动养老床系统基于电动推杆和控制设备,能够有效降低护理人员的
近年来,随着5G、IEEE 802.11p、LTE-V2X等无线通信技术逐渐成熟,节点具备在高速环境下低延时性、高可靠性传输信息的能力,车联网成为人们研究的热点。然而,车联网在帮助车辆感知路况、制定行车方案、规避风险的同时,其智能化、网联化的特点也存在一系列安全问题,诸如存在Sybil攻击、重放攻击、虚假消息攻击的风险。本文主要针对车联网中的身份认证问题和信任管理问题展开研究,主要工作如下:在车联
根据调查显示,我国人均耕地面积只有1.64亩,仅为世界水平的50.52%。耕地面积少,加之农作物生长异常会降低产量,并影响农民收入和农作物期货市场。为了及时获知农作物的异常情况,需采用高效的方式采集农作物长势信息。本文利用农作物异常生长时,叶表面温度异常变化的特性,通过无人机配备红外传感器,使用红外热成像技术检测植株冠层温度,预测农作物异常问题。尽管无人机搭载的红外摄像机能够高效地获得农作物冠层温
车联网是建设智慧交通的重要基础,在提升道路安全和提升通行效率方面具有极大的优势,然而,传统车联网的可扩展性较差,配置不够灵活,已经无法满足于新型车联网的发展需要。软件定义车联网架构的提出能够有效解决上述问题,即在车联网中引入软件定义网络(Software Defined Network,SDN)的思想,同时还为车联网带来了可编程性和可扩展性,满足了未来不断增长的车联网应用服务需求。SDN的引入带来
盾构隧道设计过程中需要考虑水压力的影响,因此明确水压力计算方法具有较为重要的工程价值。隧道设计时水压力的计算方法通常分为折减系数法、解析法、数值分析法三大类,本文对每类方法的研究进展和不足进行了归纳总结:折减系数法和解析法一般适用于稳定渗流的简单情况;数值计算法适用范围广,但可推广性不强;并建议后续对复杂条件下隧道衬砌外水压力计算方法进行深入的研究,以便更好地应用于实践中。
太原西山地区煤矿众多,煤炭开采时间长,产生的煤矸石占用了大量的土地资源。随着对西山地区生态环境的治理,部分煤矸石污染场地重新被用于工程建设。目前,大部分的对煤矸石的研究主要集中在煤矸石中的微量有毒有害元素释放以及这些有毒有害元素在土和水体中的富集,并未对受煤矸石污染前后土体的宏观物理力学性质、微观结构及污染机理进行研究。本文主要以太原西山矿区官地矿煤矸石及矸石堆周围黄土为研究对象,通过X荧光光谱分