论文部分内容阅读
随着计算机图形学,传感器技术,人机交互等技术学科的发展,混合现实技术日趋完善,逐渐从科幻电影走进人们的日常生活。同时,通信技术的发展也表明人们对信息多样性的需求不断增加,混合现实技术就提供了这种可能。传统视频会议系统具有信息单一,交互手段缺乏,沉浸感不足等缺点,而基于混合现实技术的视频会议系统具有独特的形态和功能,能够一定程度上弥补传统视频会议的不足,具有重要意义。论文主要围绕着基于混合现实的远程视频会议系统的设计和实现进行展开,对一个远程视频会议系统的几个组成模块进行探讨,即信息的采集,数据的传输,显示和交互三个部分。本文主要研究内容如下:(1)讨论如何通过深度相机获取人体三维数据,进而对人体进行三维重建。对于基于混合现实的应用而言,最大的特点就是给予用户一个沉浸的三维场景,因此提供三维信息是应用的基本功能。消费级深度相机可以以较高的速率获取周围的三维信息,本文从深度相机原理和结构出发,对深度相机进行标定获取相机内外参,然后对获取的深度图进行去噪和补洞处理,得到质量较高的深度图后基于小孔成像原理恢复出三维点云,进一步通过针对有序点云的快速网格化算法,最终得到带有纹理的人体三维网格模型。(2)讨论了传统视频编解码技术在三维数据传输中的应用。首先从深度图特点出发,然后通过对比实验,通过支持H.264,HEVC和VP8三种视频编解码标准的编解码器对深度图和深度图序列进行编解码实验。最后对比实验结果,并对实验结果进行分析和评价,为基于混合现实的视频会议系统的传输部分奠定了基础。(3)讨论了在混合现实环境下的各种人机交互方式。本文首先介绍了在虚拟现实系统中常用的交互工具,同时根据硬件特点设计了三种人机交互方案,然后基于视频会议的使用场景设置多种交互任务,最后通过对比实验和问卷调查得到实验结果,同时对实验结果从可用性角度出发,评价各个交互方案优缺点。(4)对基于混合现实的视频会议系统进行设计和实现。首先对系统进行需求分析,从性能和功能两个角度对系统提出要求,然后设计系统框架和系统流程,将整个系统模块化并逐个实现,最后对整体系统进行测试和评价。