近年来,汽车先进驾驶辅助系统的应用改善了道路交通安全状况。然而相对机动车及其驾驶员,行人及骑车人等易受伤害的道路使用者受到的保护依然有限。对行人及骑车人的有效识别是保护他们的基础。现有行人及骑车人识别方法多将两者分开处理,常导致两类目标识别结果混淆不清;且传统目标识别模型能力有限,难以适用于复杂多变的实际道路环境。针对上述问题,本文建立了统一的行人及骑车人联合识别架构,并对行人及骑车人识别过程中涉及到的主要关键技术进行了研究,包括多示例目标候选区域选择、基于深度神经网络的目标检测及具有目标在线自学习功能的多目标跟踪等。为实现行人及骑车人统一的目标候选区域选择,针对行人及骑车人目标复杂多变、个体差异大等问题,提出基于共有显著性区域及冗余策略的行人及骑车人多示例目标候选区域选择方法。根据行人及骑车人的共有特性,检测目标共有显著性区域,基于冗余策略生成多示例目标候选区域,使用车载图像的几何约束进一步筛选合适的候选区域,从而实现行人及骑车人目标候选区域的统一选择。为实现行人及骑车人目标的联合检测,在快速区域卷积神经网络的目标检测方法基础上,建立适用于行人及骑车人检测的深度神经网络模型。针对行人及骑车人目标检测经常遇到的误检漏检频繁、小尺寸目标检测效果不佳、背景环境复杂多变等问题,分别设计难例提取、多层特征融合、多目标候选区域输入等多种网络改进方案,从而提升行人及骑车人目标的检测效果。为提高行人及骑车人等可变形非刚体目标的跟踪能力,在粒子滤波目标跟踪框架的基础上,提出具有目标在线自学习功能的多目标跟踪方法。该方法在离线训练的基于深度神经网络的检测器检测结果基础上,融合具有在线自学习跟踪目标特性的在线检测器检测结果,能够实现多类型目标的长时间稳定跟踪。为验证本文提出的行人及骑车人联合识别方法的效果,在北京城市交通环境下建立完备的行人及骑车人识别数据库,并在划分的测试数据集上进行行人及骑车人识别算法的评价验证。实验结果表明,本文提出的行人及骑车人联合识别方法不仅能够实现行人及骑车人的联合检测与稳定跟踪,还能够清楚区分不同类别目标,为智能车辆的行为决策提供丰富信息。