论文部分内容阅读
行人检测是计算机视觉领域的研究热点之一,是自动驾驶、人机交互和行为识别等任务的基础,具有重要的研究价值和广泛的应用场景。车载行人检测算法基于图像数据自动检测前方行人位置,提醒驾驶员或自动驾驶系统规避碰撞事件。随着计算机处理能力的快速发展,深度学习理论和技术在多个领域成效显著并展示出无限潜力,行人检测领域也因此获得长足进展。但是,由于真实道路场景复杂、光照变化、遮挡多样性等挑战,同时降低虚警和漏检始终是行人检测的难题。基于深度学习开展专门研究,提高行人检测性能,减少漏检和虚警是自动驾驶及其道路交通智能化的的当务之急。本文围绕道路场景行人检测的挑战性问题展开研究工作。远红外车载行人检测是规避夜间人车碰撞的有效手段,然而由于缺乏公开的大规模远红外基准数据集,很难有效训练检测模型,制约着该领域的发展。因此本文提出、建立并公开了一个大规模远红外行人检测基准数据集。虚警抑制是道路场景车载行人检测的难题,现有框架基于全图滑窗的策略导致产生大量偏离路面区域的行人虚警,本文研究并提出基于路面语义的车载行人检测网络。复杂道路场景中行人遮挡是行人检测领域重要挑战问题,本文研究基于人体可见信息的行人检测方法,提出基于头部线索逐级扩展感知域的方法,提高严重遮挡行人的召回率。论文主要贡献分述如下:1)针对车载夜间行人检测,提出并建立一个大规模远红外车载行人检测数据集。以保持真实性、多样性和挑战性为基本目标,借助车载远红外传感器采集多种路况视频数据,制定规范对数据进行人工标注,包括多种场景、多个路段共21万帧图像和47万个行人标注框,如此数据规模能够满足深度神经进行网络训练和评估测试的数据量要求。对标注数据进行了统计分析,获得行人尺度分布、宽高比分布、距离分布、中心分布等特性,为车载行人检测算法的设计提供了基本的先验知识。对经典行人检测神经网络框架进行关键参数修改,设计并完成详细的消融实验,针对本数据集设计基准检测器。实验结果表明,在本文建立的数据集上,基准检测器优于现有先进的行人检测算法。2)针对行人检测中的虚警问题,基于驾驶场景中行人分布特点,提出基于路面语义的行人检测网络。基于两阶段行人检测框架,通过设计轻量化的路面区域估计分支,实现基于共享卷积特征的路面水平中心区域估计。基于模版卷积方法,实现基于路面水平中心区域的区域推荐网络。实验结果表明,本文提出的网络能够精确估计行人中心分布区域,并基于路面区域推荐行人候选区域能够显著减少偏离路面虚警的同时减少计算开销。在昼夜数据和多光谱数据上,本文提出的方法均实现了漏检率降低,证明本文提出的集成路面语义行人检测框架能有效应对偏离路面虚警的问题。3)针对复杂道路场景行人遮挡问题,提出基于行人头部和可见信息特征的人体级联行人检测网络。复杂道路场景中的遮挡问题分为行人间类内遮挡问题和背景物体导致的类间遮挡问题。针对类内遮挡问题,提出无锚点匹配的中心点估计和尺度回归区域推荐网络,实现特征响应锐化,减少特征粘连;分别建立行人头部和行人中心区域推荐模块,实现行人感兴趣区域(Region of Interests,Ro Is)互补,提高遮挡行人召回率;针对多样化类间遮挡物体干扰Ro Is池化特征问题,提出可见区域引导注意力模块,通过估计行人可见区域概率分布图,对Ro Is池化特征重新赋权后抑制遮挡物体噪声特征;针对头部Ro Is缺少可分辨信息问题,提出头部级联检测网络,基于级联检测模块的感知域重采样策略,分阶段逐步扩展采样区域,实现基于头部线索减少严重遮挡行人漏检的同时避免由于头部尺寸小、缺乏判别信息而引入更多虚警的问题。实验结果表明,本文提出的人体级联检测网络能够显著提高遮挡行人检测性能。