随着车祸事故的逐年增加,以及计算机硬件性能的不断提升和Ai在特定场景下的解决能力展现出超出人类的惊人表现,用于分析车载驾驶系统的行人检测和行为识别技术具有可观的应用前景。目前的行为识别技术的应用大多是用于监控场景,很少有研究将行为识别应用到车载驾驶系统中。本文研究如何将行人检测技术与行人的行为识别技术应用到车辆驾驶中,实现一个动态4D(2D+时间+行为交互)的系统。本文主要内容如下:(1)首先介绍卷积神经网络的基本组成和执行原理,接着介绍基于深度学习的行人检测技术和行为识别技术,并且对不同技术进行分析以及性能对比。然后详细解析YOLOV3-TINY行人检测算法,最后针对车载视觉的特定应用场景对YOLOV3-TINY进行优化,包括针对计算行人的Anchors,对行人单类进行重训练,优化YOLOV3-TINY特征提取网络,增加YOLOV3-TINY预测尺度,通过目标跟踪提高行人检测准确性。(2)研究基于连续多帧图像的行为识别,本部分首先是利用C3D模型对多帧图片特征进行提取,然后进行分类。然后分别从激活函数,网络深度两个方向对网络结构提出优化策略,并对优化前后性能进行对比,最后引入CNN设计中的经典设计思想,设计出3D-RDBC模块,与3D残差网络进行对比,极大提升了检测性能。(3)研究基于图片的行为识别,使用CNN对行人特征进行提取及分类,然后将YOLO回归出的行人的BBOX作为CNN的输入最后得到具体的行为,接着将自己设计的CNN网络模型与部分经典的网络模型做准确度上的对比,并通过多目标跟踪修正行为,准确度有明显提升。(4)结合上面的行人检测和行为识别结果,设计出预警区域的实现思路,在汽车行驶前方绘制预警区域,根据行人处于不同区域下的不同行为设计预警策略。