自动驾驶技术结合了计算机视觉、光电传感和全球定位等理论方法,让自动驾驶系统安全地控制车辆完成驾驶任务。道路场景理解是车载视觉系统的核心部分,赋予车辆感知周围环境的能力。由于现实场景复杂多变,现有技术无法实现完全无人监管的安全行驶,如何设计高性能智能算法成为场景理解的重点和难点。基于以上研究背景和难点,本文主要研究了基于可见光相机、长波红外相机和激光雷达的场景理解问题,设计了语义分割和双目立体匹配算法,获取场景语义和空间结构信息。主要研究内容和结果如下:针对实际道路场景中的复杂环境分割问题,提出了基于类别原型回归的语义分割算法。该算法结合样本筛选策略和原型隔离策略从大量数据中回归出准确的类别原型特征,通过度量待测数据与各类别原型的特征相似度计算出待测目标的分割结果。该算法同时设计了类别原型注意增强和空间注意增强结构,在复杂的道路环境中获得判别性更强的特征,在公开街景分割数据集上相比于改进前,算法准确率平均提高了2.9%。针对车载平台中算法准确率和算法效率的平衡问题,提出了基于单特征金字塔结构网络来处理实时场景分割任务。该算法利用了不同层级的残差特征估计目标残差,从目标残差金字塔中重建出分割结果,增强了道路场景分割算法的实时性与实用性,在公开街景分割数据集上相比于改进前,算法准确率平均提高了6.4%,速度平均提高了63%。针对监督双目立体算法依赖大量标记数据的问题,提出了自监督双目立体匹配算法。该算法利用双目视觉中的左图和右图对称关系构建左右图像的相互约束,建立了自监督学习方式,实现了无标记数据的双目立体匹配学习。该算法在训练过程中采用了基于图像结构信息的感知特征约束,增强了视差结果的结构完整性和细节表现,在KITTI数据集上相比于同类型算法总体平均误差率降低了0.15%。针对激光雷达点云数据稀疏的问题和目标结构性差的问题,提出了多视角点云模板匹配算法。该算法构建了各类别的多视角特征模板,通过比较目标特征与各类模板特征的相似性对目标点进行目标属性分类。该算法同时设计了多视角卷积,并进一步搭建多层递归多视角卷积模块,对模板特征进行多视角、多维度增强,从而提高匹配精度、增强复杂三维道路场景理解的性能,在点云分割数据集Semantic KITTI上相比于改进前,算法准确率提升了1.1%。综上,本文针对道路场景理解任务,结合自监督学习、度量学习、残差学习等理论,提出了语义分割和双目立体匹配相关算法。本文算法在真实道路环境数据集上有效提高系统的场景理解能力,可为高性能车载应用提供思路和技术参考。