三维目标检测能为智能感知系统提供丰富的目标位置和姿态等信息,有助于提高系统对环境的理解和决策能力。激光雷达凭借其高精度和远距离的测距能力在三维目标检测任务中获得了广泛关注。利用点云等数据进行三维目标检测的技术逐渐成为研究热点,并在无人驾驶和智能交通中发挥着重要作用。交通场景下的三维目标检测研究在近些年取得了诸多成果,检测效果也在持续提升,但目前在数据和检测算法等方面仍然存在着一些问题。在基于真实场景的点云数据构建方面,激光雷达的高昂价格提高了数据的采集成本;点云数据的稀疏性增加了数据标注的难度与不确定性;真实场景的低可控性导致了数据定制难以实现,进而阻碍了对模型的针对性评估和改进。在检测算法方面,点云密度分布不均匀引发的特征变化提高了对特征提取网络适应性的要求;点云数据的不规则性增加了对语义和结构等特征的提取难度;点云和图像特征的分布差异限制了特征融合中对多模态信息的充分利用。总的来说,高效低成本的数据构建方法和有效的特征学习与多模态特征融合算法成为交通场景下三维目标检测研究中的关键课题。平行视觉方法从人工世界和现实世界两个空间展开对视觉模型的研究。其一方面强调了虚拟数据与真实数据所具有的互补作用,以及二者在视觉模型构建中同等重要的地位;另一方面将特定场景的数据构建和对场景的感知与理解视为影响视觉感知模型的两个关键要素,并将两者纳入一个统一的框架。本文面向交通场景下的三维目标检测任务,从数据生成和感知理解两个角度展开对平行视觉关键方法的研究。一方面,旨在通过探索低成本可定制的虚拟点云数据构建方案,为三维目标检测提供数据支撑;另一方面,旨在设计有效的特征提取和特征融合方法,提高三维目标检测模型的感知与理解水平。本文的主要工作和贡献归纳如下:1.在平行视觉的数据生成方法研究方面,针对点云数据采集和标注成本高、不灵活的问题,本文提出了虚实结合的平行点云生成方法。该方法的核心思想是将点云的背景和前景区别对待,以真实点云场景作为背景信息,在其中添加虚拟前景目标从而实现无需标注的灵活可控的点云数据生成方案。该方法的关键技术包括基于投影的虚拟激光雷达建模方法、基于局部特征的前背景融合方法以及人在回路的数据—模型迭代方法。平行点云方法极大地提高了对感兴趣目标生成的灵活性,同时大大降低了数据标注成本。利用平行点云数据可以实现对模型训练过程的增强,也能实现对模型的针对性评估。2.在平行视觉感知与理解方法中的特征提取方面,面向三维目标检测的点云特征提取与检测算法设计方面,针对点云密度剧烈变化影响特征表示和提取的问题,本文提出了上下文感知的动态特征提取网络与相应的三维目标检测方法。该方法的核心设计在于感知局部点云特征的变化,并通过调整网络学习过程对特征变化进行响应。为了实现对局部特征的更好建模,本文使用了中心对齐的多尺度柱形点云表示单元,其中心对齐的设计减少了局部表示的偏差,同时,还引入了可重叠的机制以增加局部连续性;其多尺度的方案提高了局部特征的丰富度。在此基础上,本文提出了基于卷积核线性组合的动态卷积设计,通过对不同局部特征学习不同卷积核来进行特征提取,提高了网络的表示能力。3.在平行视觉感知与理解方法中的特征提取方面,针对现有体素化方法存在的语义信息缺失和结构特征不足的问题,本文提出了语义和结构增强的点云特征提取方法。该方法引入了点云前视图表示下的分割任务并提出了基于图的体素化方法。前者通过将点云投影到前视图进行点云语义分割,在保留大多数点的同时,补充了语义信息;后者针对现有体素化方法存在的边缘弱化问题,以每个体素单元为中心,通过搜索其邻居信息,形成图结构,以增强局部结构信息。4.在平行视觉感知与理解方法中的特征提取方面,针对点云数据同图像数据融合过程中的数据表示差异、特征分布差异和视角差异,本文提出了方位角感知的自适应融合检测方法。为了克服点云和图像间存在的表示差异问题,该方法采用了基于区域融合的两阶段网络设计,在第一阶段使用点云在俯视图的投影特征和图像特征,通过锚点框进行特征融合,在第二阶段额外引入点云的原始特征提高对结构信息的表示能力,并基于候选区域进行融合。为了缓解点云和图像的特征分布差异对融合效果的影响,本文提出了自适应的融合网络,通过学习不同特征的权重调整特征分布以提高信息融合的有效性。为了缓解因目标方位角造成的目标朝向在图像和点云数据中的不一致现象,本文提出了空间融合策略,通过矫正图像中的角度差异,提高角度特征的一致性。本文通过研究平行视觉理论在三维检测任务中应用的关键方法,有助于降低三维目标检测模型的开发成本,提高模型对特征的学习能力和对多模态特征的融合水平,从而促进三维目标检测模型性能的提升。本文的研究可应用于智能交通和无人驾驶等领域。