自动驾驶是人工智能领域研究的热点和前沿。自动驾驶技术是对人类驾驶员在长期驾驶实践中,对“环境感知—决策与规划—控制与执行”过程的理解、学习和记忆的物化。目前,自动驾驶技术已成为整个汽车产业的最新发展方向。应用自动驾驶技术可以提升汽车驾驶的安全性、舒适性,满足更高层次的市场需求等。在此背景下,本文基于深度学习,针对自动驾驶典型方法之一,端到端控制的自动驾驶技术进行研究。首先构建了一个传统的基于单流CNN的端到端控制的自动驾驶算法模型,对单流CNN实现的端到端自动驾驶进行了验证分析。在单流CNN模型输入部分,采取了将单帧RGB图像输入和3帧RGB图像堆叠输入两种方式,模型输出为根据图像所预测的转向角,实验发现采用3帧RGB图像进行输入的方式预测精度得到显著提高。在此基础上,受时间信息的启发,本文又构建了双流CNN模型,将卷积神经网络的输入分为两部分,一个流的输入为3帧RGB图像,另一个流输入由3帧图像产生的2帧光流图,并在数据集上进行了验证和测试,实验发现双流CNN模型相比单流CNN模型在预测精度上有所提升。同时,在本文的实验测试中,为了提升训练效果,贯穿了数据增强和防止过拟合等优化神经网络的方法。本文所设计的端到端自动驾驶算法可以在真实场景下进行高效的数据采集和测试,避免了间接映射型方法的复杂系统结构。为了验证在实际应用中的算法有效性,本文设计了一个基于树莓派平台的智能小车,对本文中的自动驾驶相关算法进行仿真实验。智能车可以在模拟道路中进行数据采集和自动标注,考虑到运算速度,采用单流CNN模型进行训练。测试时智能车将车载摄像头实时采集的图像传输到服务器,输入神经网络模型,模型预测出行进动作,将动作指令发送到树莓派,通过树莓派控制电机驱动实现对智能小车的连续控制,完成智能车的自动驾驶。