场景理解是指机器通过传感器分析其周边区域的过程,需要解决的任务包括深度估计、场景分类、目标检测及跟踪等。3D目标检测作为场景理解中的一项核心任务,是确定目标是否存在、确定目标位置与大小的过程。3D目标检测作为自动驾驶领域需要解决的核心任务之一,是自动驾驶汽车能够安全行驶的必要条件。近年来深度学习在该领域有着广泛应用,但由于多种传感器获取的是不同模态的数据,每种都有其优缺点,所以如何将多模态数据良好的结合起来完成3D目标检测仍是一个开放性问题。本文设计了基于多模态数据进行3D目标检测的算法框架。整体框架包括分别基于图像与点云的3D目标检测,以及结果融合三个部分。本文的主要工作如下:1)基于多模态机器学习中在决策层对结果进行融合的思想,提出了一种使用独立模块分别处理图像与点云数据,然后在决策层将结果进行融合的算法框架,该算法框架在融合结果时计算图像预测的边界框与点云预测的边界框之间的3D IoU（Intersection over Union）,然后基于非极大值抑制算法根据IoU与置信度水平对结果进行筛选与融合,在KITTI数据集上获得了良好的效果。2)在图像数据的处理模块中,本文使用兼具实时性与性能的YOLOv3模型作为2D目标检测器,为了防止KITTI数据集样本数较小可能带来的过拟合问题以及增强模型的泛化能力,本文将在大规模数据集Image Net上预训练好的YOLOv3模型基于KITTI数据集进行微调,从而输出2D边界框。然后根据2D-3D的射影几何关系设计参数并使用深度神经网络预测,最后计算出3D边界框。3)在点云数据的处理模块中,为了使模型训练的目标与KITTI度量标准之间更加匹配,本文计算预测值与标签值之间的3D IoU损失,将其加入总损失,使模型在计算过程中隐式地编码边界框各参数之间的关系,让模型更加有效地回归边界框参数,提高模型预测的准确率。经对比实验表明,本文提出的算法框架具有可行性与优越性,并且本文设计的基于图像与点云融合的场景理解与目标检测方法,可以更好地利用图像与点云这两种不同模态数据的特性,使它们在3D边界框预测过程中优势互补,从而更好地理解场景与更精确的检测场景中的物体。