基于视频序列的手部姿态与形状估计方法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:goddragon007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,随着神经网络以及深度学习技术的高速发展,基于视觉的手部姿态估计方法逐步在虚拟现实、增强现实、智能机器人、人机交互等人类生活的各个领域扮演着越来越重要的角色。然而,在手物交互、智能机械手抓取等实际应用场景中,通常需要更多地考虑手部表面的接触信息,因此人们迫切地需要在估计准确的三维手部姿态的同时,重建真实、合理的三维手部表面形状。但传统基于单张RGB图像的方法局限于RGB图像的深度模糊性,且在实际场景中获取准确的三维手部关节点坐标和三维手部表面形状网格点坐标标注也是异常困难且费力的。因此对于在缺少标注信息的情况下使用视频序列进行手部姿态与形状估计的研究是十分有必要的。针对上述问题,本文利用可在实际场景中轻易获取的手部视频序列数据,设计了两种基于视频序列的手部姿态估计与手部形状重建方法,具体研究内容如下:(1)因在实际场景中难以获取准确的三维标注信息,但获取二维标注信息的难度和成本相对较低,因此本文利用视频序列中隐含的时序信息,设计了一种基于弱监督方式训练的手部姿态估计与手部形状重建方法,减轻了网络训练过程中对三维标签的依赖。该方法以手部的视频序列数据作为输入,采用多阶段法进行训练,依次通过光流估计模块、手部姿态估计模块和手部形状重建模块分别预测手部的二维热图、手部的三维姿态和手部的三维表面形状,最后通过正逆向一致性模块以弱监督的方式对整体网络进行端到端的训练,得到较为准确的手部姿态与较为合理的手部形状。(2)虽然二维标注信息相较于三维标注信息的标注成本与获取难度都大大降低,但对于复杂多变的实际应用场景来说,获取人工标注的准确二维标注信息也十分繁琐且费力。因此本文利用视频序列中相邻两帧图像之间同一只手的动作关系,设计了一种基于自监督方式训练的手部姿态估计与手部形状重建方法,不使用任何标注信息,只利用输入图像自身携带的像素信息进行自监督训练,进一步减轻了网络对于标签的依赖,更极大地提高了手部形状重建方法的泛用性。该方法首先在具有三维手部表面形状网格点标注的大型公开数据集上进行全监督预训练,获取足够的手部形状先验信息,然后利用视频序列相邻两帧之间同一只手的一致性信息,以自监督的方式将预训练阶段获取的手部形状先验信息迁移到新的实际场景中,使网络在缺少三维标注的新场景中依然能够重建真实合理的手部表面形状,同时获得精度较高的手部姿态估计结果。在手部视频序列数据集上进行的计算机仿真实验表明了本文两种方法的有效性。
其他文献
报纸
乡村短视频实现了乡土文化的记忆建构与再生产。本文认为,乡村短视频由日常生活美学化的景观呈现完成空间建构,以多元符号拼接形构集体记忆实现符号建构,用个体参与共建群体身份认同达成情感建构,为乡土文化的影像化呈现构筑了崭新的展演平台。
研究了不同变质剂(0.3%TiB2、0.3%TiB2+0.6%Cu、2.5%Cu+1.4%Na3PO4)对Al-18Si过共晶铝硅合金组织和耐磨性的影响。结果表明,加入变质剂不同程度地改善了初生硅形貌和尺寸,均提高了耐磨性,其中加入2.5%Cu和1.4%Na3PO4的Al-18Si合金变质效果最好,初生片状硅棱角明显钝化,平均轮廓尺寸细化到30μm,共晶硅在基体上的分布更加均匀,合金的摩擦系数最低
新时代下,随着移动智能终端的不断普及、5G及人工智能技术迅速发展,高校党员教育工作面临新要求和新机遇,从“短视频”的特点出发,分析传统党员教育存在的弱点。从教育内容的选取、教育资源的整合、教育资源的制作等方面,探索如何将“短视频”融入党员学习教育中,以提高党员教育的质量,增强教育的针对性和有效性,提升日常党员教育课程的吸引力,提升高职学生党员学习的体验性、生动性。
语文综合性学习是新世纪语文课程改革的新兴产物,也是当前初中语文教学的重要组成部分。语文综合性学习可以充分展现语文课程综合性与实践性的特点,若其能够良好实施,对学生语文能力的提高、语文思维的培养以及语文综合素质的形成都可以发挥至关重要的作用。然而在实际的教学当中,初中语文综合性学习的教学设计与教学实施都存在着许多不足。真实性学习是一种已在国外研究与应用成熟的,并在2010年后引入我国的新兴且备受关注
<正>中小学生择校入学问题一直是教育领域令人关注的问题。我国义务教育发展不均衡,学校之间差距过大,使得择校成了必然,成为各方力量的一种博弈。目前,义务教育阶段的经费投入是中央和地方各级政府的主要责任,怎样使有限的财政投入更好地解决义务教育均衡发展的问题?我认为,应在不减少对好学校投入的同时,加大对弱校的支持力度,把弱势学校办成好学校,而不是简单地"限好"。要在
期刊
高分辨距离像在轻小型雷达平台探测识别目标中有重要应用,准确的目标和环境先验信息是提高距离像检测识别性能的关键因素。本文提出以离线或在线SAR图像作为先验信息来源,提取目标二维散射中心并向距离像视线方向投影获得一维散射中心特征模板,在此基础上设计了距离像检测、识别以及要害部位选择算法流程,采用电磁计算和外场实测地面目标数据进行了试验验证。结果表明:SAR图像辅助的距离像检测识别算法不仅具有较高的检测
文章根据研究区块实际情况,在确定合理井距的基础上,利用油藏工程及数值模拟技术相结合,开展了合理注采井网研究,确定了区块合理地层压力保持水平及转注时机,并对合理注采比进行了优化。最终认为,研究区块的最优开发井网为260m注采井距,采用反九点正方形井网,合理地层压力应保持25MPa左右。本文典型区块注采井网优化及开发技术研究为国内同类型低渗透油藏制定开发方案提供了借鉴。
《刑法》总则第十三条但书能否直接被援引作为醉驾型危险驾驶罪的出罪依据,是刑法理论和司法实务中比较有争议的一个问题。对此,理论上有肯定说和否定说两种观点。争议的症结在于学界长期以来对但书的机能及其司法适用存在不同的理解。但书的机能应定位于对入罪的限制,而不是作为出罪的标准。行为不符合犯罪构成是唯一正确的出罪依据。司法实践中直接援引但书作为醉驾型危险驾驶罪的出罪依据的做法应予以纠正。