论文部分内容阅读
面向混合现实（MR）环境下虚实交互需求,提出了一种在虚拟环境下利用手势动作与现实环境交互的方法。首先,利用虚拟现实设备对深度相机及现实物体进行定位,经过坐标变换将深度相机捕捉到的三维数据及现实物体三维坐标融合到同一坐标系下,再映射到虚拟空间;然后,采用深度相机获取的深度数据、RGB数据结合MediaPipe,进行手部关节点三维重建。在虚拟现实环境下,通过观察手部模型与标记物体模型的相对位置关系来对现实中的物体进行操作。最后,将之应用于MR高铁模拟驾驶器,通过虚拟场景中所见来对实体驾驶台进行操作,验证了本方法的可行性,增强MR环境下交互的真实感、沉浸感。