随着深度学习的发展,其在计算机视觉方面取得了令人瞩目的成果,而基于计算机视觉的端到端自动驾驶技术也得到了长足进步。一般的端到端自动驾驶方法仅仅预测当前时刻的转向角,难以完成车辆的横纵向控制,或者是同时预测转向角与车速,且未很好的映射,导致预测准确率不如单目标的映射,且工况常常是在一些人和车较少的简单场景,缺少对于城市其他工况的研究。针对这类问题,本文选取了几个典型的城市工况进行研究,提出了一种融合图像去噪模型的双目标端到端自动驾驶模型,能够较为准确的同时预测方向盘转角与车速。主要工作如下:(1)传统的端到端自动驾驶方法几乎不对数据集进行增强,特别是图像数据,而随着图像设备成本的降低,成像质量必定下降,针对这一问题,本文将生成对抗式网络(GAN,Generative Adversarial Networks)加入到几种传统端到端自动驾驶模型中,将图像去噪作为模型的子任务,并且通过实车测试集验证融入图像去噪模型后的端到端自动驾驶模型预测性能的提升;(2)传统端到端自动驾驶对于车辆行为信息并没有很好的利用及映射,导致预测的准确性不高,针对这一问题,本文将车辆行为信息(车速与方向盘转角)加入到卷积神经网络输出中,同时输入长短时记忆(LSTM,Long Short-Term Memory)中,增加了车辆行为与图像之间的时间序列映射关系,并基于此设计了一种端到端自动驾驶模型;(3)针对双目标预测(车速与方向盘转角)时准确性往往不如单目标,本文提出了一种添加了单目标损失影响因子的双目标损失函数,将模型对于车速与方向盘转角的单目标损失中按一定的权重添加进双目标损失函数,添加到设计的端到端自动驾驶模型中,组成双目标端到端自动驾驶模型,通过实车测试集进行测试与对比,验证模型的预测性能;(4)在完成图像去噪模型的设计与传统端到端模型的改进后,本文将图像去噪模型与双目标端到端自动驾驶模型进行融合,并且借鉴MobileNet轻量化网络的方法将模型进行轻量化,用以提高模型的运行速度,最后再使用原测试集与另一城市的测试集进行模型测试,验证融合后模型的性能与通用性。本文研究的城市典型工况下端到端自动驾驶方法,通过卷积神经网络与长短时记忆的联合,提取了图像中的时间空间序列关系,提出了一种融合损失函数,提高了端到端自动驾驶算法的双目标的预测准确性,并且考虑到摄像设备成本降低导致的图像质量下降,在端到端自动驾驶模型中融合了图像去噪模型,为自动驾驶在摄像成本降低的情况下,更复杂场景的应用提供了一定的参考。