投影映射是增强现实技术中常用的一种显示手段,它利用投影仪将虚拟的图像投影到现实中的物体上,使得两者融为一体,达到增强现实的目的。投影映射技术在教育、娱乐、军事、医疗等领域有着广泛的应用。常见的投影映射应用,通常是将内容投影到任意的平面或是具有三维几何形状的目标物体上。在投影映射的应用中,我们追求的目标之一是投影视效的真实感。投影的真实感与投影内容渲染的正确性密切相关,而要得到尽量正确的渲染内容,就需要获取目标物体精确的材质信息和几何形状。在已有的投影映射研究中,对于投影目标物体的实际材质研究较少,一些研究者完全不考虑光照效果的合理性,投影内容直接使用假想的贴图,使得投影结果与当前场景的可能的真实视效产生很大的偏差。另一种常见的方法是用简单的兰伯特反射模型(Lambertian reflectance model),人工设置反射函数中的参数和需要用到的纹理,这种方法将会耗费大量的时间和人力,材质属性完全取决于人的主观判断,投影效果的真实感不能很好地保证。对于几何形状的重建,目前已经有非常多的研究成果。比如预先建立与目标物体一致的三维模型,再进行后续的处理;或者利用场景的深度信息来获得目标物体的几何形状。利用深度信息重建几何模型的方法通用性更好,但由于深度相机采集到的深度图存在一定的误差,所以重建得到的三维模型总是存在表面粗糙和边缘缺失的问题。针对重建投影映射技术在材质光照真实感和几何重建精度上存在的上述问题,本文提出了一套基于深度神经网络的非均匀表面材质重建和几何重建算法,实现了从单张彩色图像和深度图像对现实场景中目标物体的材质信息和几何形状进行重建。此外,我们还对深度图进行了平滑操作,并细化了三角网格模型的边缘部分,在一定程度上减缓了投影内容表面粗糙、边缘产生锯齿状缺失的问题。在此基础上,我们设计实现了一套基于材质和几何重建的投影映射系统,通过重建结果渲染投影内容,令投影映射的结果具有更高的真实感。本文的主要研究成果如下:(1)提出了基于深度神经网络的非均匀表面材质重建和几何重建算法。该算法利用深度神经网络,对特定光照条件下场景的单张RGBD图像进行学习,预测得到目标物体的光照材质信息和几何信息。其中光照材质信息以双向反射分布函数(BRDF)参数的形式体现,几何信息用法向量图来表示。该算法逐像素地对投影目标物体非均匀的表面材质进行重建,并处理目标物体包含多种材质的情况。同时,通过对深度图的预处理,该算法能得到更加平滑的几何重建结果。(2)设计实现了一套基于表面材质和几何重建的高精度投影映射系统。设计实现了系统的软硬件架构,通过重建现实场景中目标物体的光照材质和几何形状,将利用重建结果渲染出的内容投影到目标物体上,令投影映射的视觉效果具有更高的真实感。(3)建立了用于训练神经网络的RGBD图像数据集。该数据集为已知的平行光源照射下,场景的彩色图像和深度图像的集合,用于上述重建算法网络模型的训练。(4)对论文提出的算法和系统进行了有效性和准确性的测试,通过与人工设置材质参数方法的对比,以及算法在神经网络训练策略上的测试分析,验证了本文算法和系统在投影映射中能实现对场景中目标物体材质和几何信息的重建,从而模拟虚拟场景,得到具有真实感的投影映射视觉效果。