场景重建在犯罪现场重建、工业自动化生产、房产酒店业在线模型展示等众多领域应用广泛,因此有着十分重要的应用价值以及研究意义。传统的基于多帧匹配的几何重建方法忽略了场景的语义信息,不能适应于单视角场景。事实上,语义信息在三维重建过程中意义重大,一方面重构三维场景的语义信息是三维重建的一部分,另一方面语义信息可以辅助重构三维场景的几何结构和外观。本文针对传统方法不能适应单视角场景的问题,通过引入语义信息和大规模CAD模型库,研究了一种结合语义理解的面向RGB-D室内场景的三维重建方案。首先,结合卷积神经网络和点云数据实现室内场景布局估计,包括布局分割和布局重建两个步骤。其中,布局分割通过全卷积神经网络自动推理几何上下文中的信息的方式来实现,从而确定了布局平面的位置。由于布局分割结果中不含有场景结构信息,因此需要通过估计点云数据的法向量确定布局平面的结构关系,进而有效实现了场景空间布局的估计。然后,为了重建出室内物体,本文结合了目标语义信息,将目标的二维观测结果与大规模CAD模型库中的先验模型相匹配,实现二维标签到三维模型的迁移,并将匹配的先验模型与目标点云数据进行配准,从而确定其在三维场景中的尺寸、位置和姿态。最后,为了得到该室内场景任意角度的渲染图,本文通过模型渲染将场景布局和室内物体的重建结果拼接融合并进行了一定的优化。通过实验验证可以发现,本文提出的室内场景三维重建方法对单一视角RGB-D图像的三维重建工作有良好的重建效果。本文不仅在本地数据集上进行实验验证了本文方法的可行性,还在中间步骤上在公开数据集上与众多方法进行了对比分析,结果证明了本文方法的有效性,即能够在单视角RGB-D图像的条件下实现基于语义理解的场景重建工作。