深度相机捕获场景信息产生彩色-深度图像序列,使用序列图像中密集的像素信息进行对齐来获得相机位姿,并将像素融合到三维模型中形成对场景的三维重建。本文研究复杂场景下三维重建的关键技术,主要工作如下:针对缺少纹理的场景,加入了惯性传感器来改进三维重建的相机定位,从惯性传感器测量的位姿用于点到平面的多层迭代最近点(ICP)方法的初始值,使用费舍尔信息矩阵计算多层ICP的协方差,进而估计多层ICP的定位误差,不变卡尔曼滤波融合ICP估算出来的位姿和从惯性传感器测量的位姿来减少这个误差。当相机追踪失败发生时,使用随机蕨编码的图像信息进行重定位检测,结合惯性传感器数据建立速度模型,实现相机重定位。针对纹理丰富的场景,不变卡尔曼滤波的方法融合惯性传感器数据和多层基于水平集的ICP估计来获得一个相机的位姿,其中的基于水平集的ICP可以利用场景中的梯度信息来增加融合后的定位精度。优化多层基于水平集的ICP层次结构,在保证精度的情况下,提高多层结构执行的效率。针对场景中运动的物体,结合稀疏同时定位与建图(SLAM)提出一种可以在CPU上实时运行的密集三维重建方法。该方法基于多线程来处理关键帧,使用经过稀疏SLAM优化的地图点和位姿作为先验信息去除外点。内点的表面数据通过自适应权值进行加权融合使获得的融合结果更好。表面数据使用全局哈希表和局部哈希表来存储和检索,提高了方法的实时性。针对场景中移除运动物体后会出现人机交互差的问题,提出一种改进的基于样例的修补方法来改善彩色关键帧的可视化效果。使用基于图的分割方法生成初始的分割图,通过K均值聚类合并来产生基于纹理的分割图,可以减少候选空间并确定是否使用图像缝合方法合成纹理。使用空间混合方法平滑填充的区域,从而解决视觉效果不连续的问题。实验的结果表明,提出的方法改善了去除运动物体后关键帧的可视化效果。