论文部分内容阅读
三维重建是虚拟现实、增强现实等计算机视觉应用中的关键技术,该技术可对现实世界物体形状和外观建立适合计算机表示和处理的数学模型。本文主要讨论被动式的基于单目RGB摄像机的三维重建系统。每接收一帧新的RGB图像,摄像机跟踪获取实时位姿,并通过当前帧与关键帧立体匹配的方法获取深度图,深度图结合摄像机位姿可更新模型特征信息。本文实现了三维重建系统设计,并针对摄像机跟踪算法和立体匹配算法作出改进。本文将ORB-SLAM融合入系统,实现摄像机跟踪功能。摄像机跟踪算法分为特征跟踪,局部地图构建以及回环检测线程并行运行。该设计方案通过有效的回环检测减少了跟踪漂移的累积,通过基于词袋模型的场景识别提升了重定位模块对复杂光照以及视角变换的鲁棒性。本文以基于最小生成树的局部立体匹配算法为框架,实现深度计算功能。通过将Census特征引入匹配代价计算过程,改善了算法在无纹理区域的视差精度。而针对纹理相似但深度不同区域和倾斜平面区域的视差精度较低问题,本文分别采用两次视差修复和平面分割的方法。结合以上策略,本文生成的视差图不仅具备准确的视差轮廓,而且在大面积无纹理区域、纹理相似但深度不同区域以及倾斜平面区域的视差精度也较高。对于摄像机跟踪算法的评估表明,在TUM数据集中,本文算法相比PTAM算法相对位姿误差降幅达35.9%;对于立体匹配算法的评估表明,在Middleburry数据集中,本文算法相比基于最小生成树的局部立体匹配算法坏点百分比降幅达22.1%。本文摄像机跟踪和立体匹配算法的精度的提升为最终三维模型的精度提供了重要的技术保障。