视觉感知技术是三维显示技术和人工智能领域的重要依托。近年来,视觉感知在人工智能技术中的应用日渐广泛和深入,基于相机摄影的视觉感知相比其他传感器感知技术具有成本低廉、算法灵活度高、应用更加简便等优势。本文主要涉及图像识别和三维视觉两个重要领域,在正文部分将分别从这两个方面对三维场景的视觉感知进行研究和讨论。传统的三维重建技术更关注对物体表面纹理的还原,缺乏对场景的语义理解。另一方面,传统的图像目标检测技术缺少对三维信息的利用。本文的研究将两者结合,用多视图三维信息辅助图像检测,并利用图像检测的结果计算出带有语义的三维点云以完成对真实场景的感知。本文的主要工作内容如下:1、深入研究了现有图像目标检测技术和语义分割技术,并对比分析了不同方法的优劣势,总结出不同方法内在的共性和特点,为本文的工作提供理论基础。同时分析了三维场景和平面图像之间的内在联系,在理论上探究出二者组合的可行性。2、分析了物体图像点与整个物体结构之间的内在联系,提出一种融合语义信息和三维信息、结合闭环匹配的多视图特征点匹配算法。该算法具有高鲁棒性和可靠性,对于大多数场景都有能力获取到足够多的正确信息。本文将利用这些多视图匹配特征重新定位单一视图中没有检测出的目标。3、提出了一种基于多视图滑窗的三维点云计算方法,结合图像语义检测和特征匹配技术,能够正确感知到并区分不同物体的三维点。该方法既可以避免同时处理所有视图带来大量冗余计算,又增加了算法的可拓展性,使其能够被应用于三维场景重现等需要较高精度和较高可靠性的任务中。