自动驾驶技术是应用于车载AI中控系统的核心技术,是实现"智慧汽车"、"智慧交通"和"智慧城市"的关键,随着自动驾驶技术的日益成熟和传统汽车行业的越发饱和,基于人工智能的自动驾驶汽车将是颠覆传统汽车市场且具有深远意义的产品。传统的自动驾驶目标检测已不能满足现阶段自动驾驶的需求,因此本文针对自动驾驶背景下深度学习目标检测及方向控制展开研究,通过深度学习卷积神经网络模型识别目标车辆和行人,判断运动趋势、预测出方向盘转动的角度。对比传统目标检测方法不仅大幅度提高检测精度,而且针对性解决了驾驶员水平良莠不齐的问题,对自动驾驶领域的发展具有深远的意义。首先,对比了one-stage和two-stage的优缺点,one-stage类YOLO系列算法不仅检测精度良好而且速度极快,非常符合自动驾驶领域目标检测算法的要求,因此选用YOLO系列网络作为基础网络。YOLO算法应用在自动驾驶领域具有一定的局限性,本文针对YOLO算法在自动驾驶环境下对小目标不敏感问题,在YOLOv3的基础上改进了一种多尺度特征迁移融合的YOLOv3网络。在KITTI数据集上与原YOLOv3对比分析,有效的改善了小目标识别问题,各类别目标检测精度均有提升。考虑到自动驾驶通常用于移动端,移动端的设备常常受硬件计算能力制约。为在有限计算能力移动端实现自动驾驶,将YOLOv3模型进行轻量化设计。将YOLOv3-tiny模型作为基础网络训练,采用KITTI数据集的作为自动驾驶轻量化网络模型的训练集,实验结果表明轻量化模型检测效果不理想。针对轻量化网络模型效果不理想问题,在保证实时性的前提下借鉴上一章的改进思想提出通过优化前馈网络提高模型精度的方法,采用Resnet18网络代替原来的特征提取网络,在保证实时性的基础上提高了检测精度。最后,构建Unity模拟器数据集训练自动驾驶转角控制器模型。首先,在Unity平台构建三维虚拟赛道,通过增加不同光影、明亮变化和遮挡使虚拟赛道接近真实。因为实际交通场景中直线居多导致虚拟赛道样本数据不平衡,所以采用类别平衡采样的方法解决样本数据不平衡问题。将带有时间信息的图像数据输入卷积神经网络自动驾驶模型预测方向盘角度。预测角度值通过socketio服务器通信网络模型和模拟器实现自动驾驶转向控制器仿真。