论文部分内容阅读
近年来车辆的日益普及致使交通事故数量呈逐年上升的趋势。ADAS系统通过感知车辆周边环境以及车辆自身行驶状态,对危险的驾驶行为以及可能发生的交通事故进行提前预警与干预。统计数据显示,一些简单的驾驶辅助系统已在实际驾驶环境中应用,并对预防交通事故起到了积极的作用,如检测到行人靠近时自动减缓车速。因此在全球范围内,ADAS系统正获得越来越广泛的关注。本文面向高级辅助驾驶系统(ADAS)中的三大实际应用,(1)360?行人检测,(2)交通标志识别,以及(3)驾驶行为预测,探讨研究深度迁移学习模型在其中的应用方法以及工作原理。深度学习凭借其优异的非线性表示能力,近年来在机器视觉、自然语言处理等领域均取得了卓越的成就。然而在辅助驾驶应用中,多变的驾驶环境、司机间迥异的驾驶习惯以及多元的地区文化等因素均导致深度学习的基本假设:训练数据与测试数据分布一致,无法得到满足。另外,驾驶数据中特有的标注数据不充足、训练数据不平衡、数据噪音严重以及多数据融合等问题,都显著加大了深度架构的训练难度。不同于传统机器学习对数据的严格要求,迁移学习允许训练和测试数据之间存在显著差异,如数据边际分布、条件分布和数据流形差异等。通过挖掘数据之间的相似性,迁移学习将共有知识从数据充分(无噪,标注良好)的源领域迁移到数据不充分(噪音,标注不足)的目标领域,解决定义在目标领域的学习任务,如目标识别、检测、分割等。本文从迁移学习角度出发,面向ADAS的三大实际应用,使用深度模型对其中的难点问题进行数学建模,求解和实验验证。本文的具体研究内容和主要贡献概括如下:1)基于鱼眼摄像头的360?行人检测系统具有视角广、成本低的特点。本文介绍了一套360?行人检测方案,并用该系统构建了鱼眼图像数据集。基于前人的研究成果,本文假设Convolutional Neural Networks(CNNs)模型在鱼眼图像中平移不变性的缺失导致其性能的显著下降。在鱼眼图像中,目标的空间位置决定了其畸变程度,因此重建CNNs的平移不变性等效于学习畸变域不变特征。本文结合鱼眼成像机制与迁移学习理论,提出了Spatial Focal Loss(SFL)用于平衡模型在不同畸变域的性能,从而学习畸变域不变特征。实验结果显示基于SFL的YOLO模型在自建数据集上取得了最佳的行人检测性能。通过分析模型在不同畸变域的漏错检样本数量,验证了学习畸变域不变特征能有效提升YOLO模型在鱼眼图像中的行人检测性能。2)同一交通标志的图像随着环境的变化往往表现出显著的差异性,主要包括却不限于光照、遮挡、褪色程度以及分辨率的差异。如果将这些引起领域差异的因素建模为自然噪音,则源与目标数据是被不同自然噪音污染的脏数据,学习领域不变特征等效于学习对自然噪音鲁棒的低维表示。基于该思想,本文提出了Stacked Local Constraint Auto-Encoder(SLC-AE)深度架构,通过从脏数据中重建干净数据来学习对已知自然噪音(源与目标噪音)鲁棒的低维特征。为了进一步加强模型对未知自然噪音的鲁棒性,本文提出One-step Generative Adversarial Network架构在低维空间中对抗地训练加噪器来模拟多种自然噪音的作用效果,用以学习更稳健的低维特征。在五个迁移基准数据库中评估的实验结果表明,本文所提出的方法不仅对识别不同环境下获取的交通标志有效,对其他一般目标也同样适用。3)司机驾驶行为预测系统是高级辅助驾驶系统中的重要组成部分,它通过提前预测司机驾驶行为,为避免可能发生的交通事故提供充足的应对时间。本文首先介绍了一套基于前置摄像头和OBD(On-Board Diagnostic)数据的驾驶行为预测系统,并用该系统构建了司机驾驶行为数据集。为了对多模态高维环境数据进行建模,并从中提取有效的信息用于预测驾驶行为,本文提出了结合速度不变场景和曲率特征的Scene-ModelTransfer Driving Maneuver Prediction(SMT-DMP)模型,有效地提升了司机驾驶行为的预测精度。针对深度场景特征缺乏解释性的问题,本文进一步提出迁移司机注意力作为中间概念,解耦了驾驶行为与行驶环境的因果联系并显著增强了模型的可解释性。在自制含有1078个驾驶行为的数据库中,本文验证了迁移场景特征与司机注意力能有效提升模型预测司机驾驶行为的精度。