随着虚拟现实,增强现实的发展,三维重建技术受到越来越多的关注。除了传统的重建方法以外,由于深度传感设备的普及,如Kinect等,获取物体的深度已经变得非常便捷,三维重建也变得直接又迅速。尽管如此,这一大类的深度传感设备精度并不是很高,获取的深度数据往往有较大的噪音以及边缘的错误,物体的几何特征信息缺失,这对于三维重建后续的步骤影响较大。所以本文研究的问题就是在Kinect获取初始深度D图的基础上,结合其同时获得的RGB彩色图像对目标物体区域进行深度优化处理,利用深度优化的结果达到点云优化的目的,即本文的研究课题为基于图像信息的点云优化研究。本文先对Kinect相机获取的深度D图和RGB图在同一个坐标系下进行对齐处理,结合成RGB-D,然后从两大类完全不同的算法进行研究如下:首先,将常用于图像分割的马尔科夫随机场(MRF:Markov Random Field)用于深度优化处理。先从最简单的低阶模型入手,然后利用二阶插值估计加强细节特征的约束,最后考虑到该算法在物体边缘部分深度不连续的地方误差较大,再利用边缘窗口来进行更强的约束。实验表明,该算法能够较好地对深度进行优化处理,表现在点云曲面上,也能去除大部分的噪声,并同时较好地保持物体特征细节,不足的是在物体边缘的深度不连续部分误差还是偏大。随后,本文研究了另一类方法,即在明暗恢复形状(SFS:Shape-from-Shading)的基础原理下,利用非标定自然光照条件下的光照模型求解本征图片分解的相关参数:明暗值,反射率以及局部影响因子,然后通过已经计算得到的光照模型,法向量以及深度梯度这三者的关系来直接进行深度优化处理。实验表明,该算法总体上能取得较好的处理效果,但是在物体表面的细节上比较突出,不够平滑,所以在图像输入的时候,会先进行一个预处理,即先对输入的深度进行一个双边滤波处理,这样的话能起到一个平滑作用,实验结果也有较大的改进。这两个方法在模型的构建及求解上都是比较类似的,整个过程在文章中都给出了具体的步骤。同时,在最后一章,本文利用前面的算法给出了一个人脸三维重建的过程说明。