基于单目视觉的实时6DOF位姿定位手柄设计

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:newrevon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着虚拟现实(VR)技术越发成熟,VR头戴设备逐渐进入大众视野。然而国内现有的产品中,VR设备及其控制器的定位问题还没有十分完善的解决方案,一些基于激光雷达传感器的定位技术价格昂贵,体积较大。本文聚焦于VR领域定位问题,提出了一套体积小、成本低的实时六自由度(6DOF)手柄控制器定位方案。本文提出在手柄控制器上设计一种环状定位结构,红外LED按照一定规律均匀的分布在该结构上。通过带有红外滤光片的单目相机观察该结构,可以根据LED和图像之间的匹配对应关系,采用P3P算法估算出手柄相对于相机坐标系的位置姿态关系,最后通过最小化重投影误差优化手柄的位姿。本文主要工作如下:(1)设计了基于红外LED的定位标志(Marker)和其匹配算法。基于红外LED集群组成的Marker相比于被动反光的Marker有着很多优势。全黑环境下,基于自发光Marker的定位系统依然可以正常工作。相比于可见光Marker,红外光肉眼不可见,对用户干扰较少。此外,带有红外滤光片的相机可以过滤环境中的可见光,这使得预处理和LED中心坐标提取环节变得简单。在LED匹配环节,本文设计的视觉定位匹配算法可以应对12颗LED特征点和对应图像的实时一对一匹配问题,配合IMU融合匹配环节,系统可以实时、鲁棒的以30Fps运行。(2)基于提出的定位方案,完成了手柄定位系统实验平台。实验平台包括硬件部分和软件部分。硬件部分服务于视觉定位系统,主要实现了LED的明暗控制、IMU的数据采集处理和WIFI通信。软件部分实现了本文所提出的定位算法,可以实时输出6DOF位姿信息,并打包成SDK接口使用。本实验平台在定位系统实现和产品化方向上进行了一定探索性工作。(3)在设计的硬件平台上,本文完成了定位系统的算法环节测试和系统总体指标测试,定量分析了P3P算法在经过非线性迭代优化环节前后的重投影误差,给出了本系统的重投影误差水平在2个像素内。通过实验证明,本系统可以在PC平台下准确、鲁棒、实时地追踪手部的6DOF位姿信息,可以满足手柄在VR设备交互场景的需要。最后根据现有的实验结果,提出了下一步的研究和改进方向。
其他文献
如今,数字成像技术已经被广泛应用于高动态范围成像和低动态范围增强等领域,但在终端设备性能快速迭代的市场环境下,基础图像在效果表现上依然受限于显示屏幕的动态范围。而目前针对图像动态范围优化的研究主要基于软件环境,性能有限,无法满足SOC图像显示系统的实时性要求。基于这一现状,论文对图像显示相关技术进行研究,并针对色调映射算法实现硬件设计与验证。论文首先阐述了色调映射技术的应用背景,并调研了国内外对色
随着世界经济的迅速发展,人们对石油的需求越来越大。因此,如何在石油开采、勘探以及钻井工作中对信息进行传递和分析已经是研究发展的一个热点。电磁式随钻法测量技术主要指的是上个世纪80年代从事石油资源开采、煤炭资源开采等工业应用领域研究而来的一种新型测量方法。采用先进的电磁波传输方式操作简便容易实现,传输的速率相对比较高,传输的可靠性强,在测量工艺过程中针对循环钻井液和循环介质的需求小,可以广泛地适用于
磁约束托卡马克聚变研究涉及众多前沿科学和工程技术难题,理论预测和实验诊断共同发展的状态。然而单独依靠诊断难以满足放电实验数据实时重构的需求,如温度密度长期难以得到完整的剖面数据,分辨率不足导致磁约束托卡马克装置物理剖面无法描述高约束模式(H模)放电的台基物理参数剖面。基于此,本研究基于通用原子能公司(General Atom,GA)为主开发的OMFIT集成模拟平台,结合HL-2A/M实验数据和理论
吸波涂层一般指一种喷覆于材料和器材表面,具有特殊微波性能的材料涂层,其使用的涂料一般又被称为微波吸收涂料,在军用以及涉密航空器应用领域也被称为雷达波吸收涂料。目前被广泛运用于相关领域的涂层材料吸收剂主要分为非金属材料基材与含金属材料基材两大部分,其中运用相对广泛的含金属材料基材可分为导电聚合物系列、多晶铁纤维系列以及铁氧体系列等。涂层本身的材料特性,基材本身的材料特性和涂覆表面的物理特性是影响涂层
随着工艺技术的发展,现代VDMOS可承受的击穿电压值越来越高,常规的VDMOS结构由于极厚的外延层,因此导通电阻值随着耐压的增加而大幅增加,高压VDMOS器件为了降低导通电阻只能通过增加芯片面积的方法,但随之而来的成本的增加又是商业生产不可忽视的因素。目前国内具有优良特性的高压VDMOS产品较少,大多微电子公司选择进口国外的VDMOS器件,而随着半导体进口量超越石油成为进口量最大的商品,自主研发高
随着科学技术与社会向前发展,无人驾驶技术的发展日新月异,登机桥也随之朝着自动对接方向发展。环境感知传感器作为无人驾驶的“眼睛”,一般有毫米波雷达、超声波雷达、激光雷达以及摄像头,但是单一传感器由于各种原因对环境的感知存在局限性。多传感器融合技术能够综合各传感器优势,实现相互之间信息互补,为系统提供信息冗余。因此本文基于两种感知系统中主流的传感器提出一种毫米波雷达与视觉融合的登机桥前方目标识别方法,
大数据是网络信息时代的客观存在,其产生的意义在于对数据进行专业存储和处理,并从中挖掘和提取所需要的知识和信息。Hadoop作为数据分布式处理系统的典型代表,在数据的分布式存储、计算、分析等多方面性能优越,为提升资源的利用率,Hadoop引入了资源统一管理调度系统YARN。YARN自带了三种资源调度器用于同构集群环境资源的分配,随着虚拟机在各大数据中心的普及,集群异构性凸显,这些内置的调度器性能极速
随着深度学习的逐步发展和计算机视觉应用领域的不断扩大,基于实验室环境下的非自发人脸表情识别已经不再是一个挑战,学界的研究重点已经转向自然环境下的人脸表情识别。尽管自然人脸表情数据集更加贴近于真实场景,但由于其样本偏小,且存在遮挡、姿态变化、光照不均等外在干扰因素,导致所训练出来的表情分类模型容易出现严重的过拟合现象。目前,如何准确地识别自然环境下的人脸表情已经成为人脸表情识别领域的主要难点之一。本
随着高速数字电路的发展,模数转换器(analog-to-digital converter,ADC)已经成为现代数字处理系统中不可或缺的组成部分。ADC的性能指标对数字处理系统整体的指标和性能的影响都十分显著,随着ADC分辨率的不断提高,现有的标准测试方法实施过程越发的困难,传统基于正弦拟合的测试方法,具有更高的测试精度,但该算法测试时间较长,限制该算法在实际测试中的应用。本文主要基于极大似然估计
在自然语言处理任务中,对话系统是其最具有发展前景的关键应用方向之一。基于检索和基于生成是目前现有对话系统实现的主流方法。检索式的方法是从候选回复进行打分并选择,提供相对固定模式化的回复,基于检索的系统严重依赖语料库的大小和质量,导致候选回复可能会缺失上下文中的重要信息,而且基于检索的方法限制了产生回复的丰富性,输出结果比较生硬。因此,为了让对话系统更好地完成信息表述以及情感表达等任务,使用基于生成