随着社会的进步,汽车工业的不断发展,无人驾驶汽车应运而生,一时间成为各大车厂的一个发力点,也成为了当前人工智能领域的研究热点之一。从系统的角度来看,无人驾驶系统包括环境感知系统,行为决策系统以及车辆控制系统。其中,定位模块与转向控制模块是无人汽车的两个关键模块。目前传统方法仍是支撑无人驾驶汽车得以落地的主要技术。但传统方法针对光照变化、场景变化等问题的鲁棒性较差,难以满足无人驾驶汽车在实景场景中的应用需求。因此,本文围绕无人汽车定位及转向控制两大关键技术为研究点,利用视觉传感器,构建深度神经网络,实现端到端的无人车位姿精确估计及车辆的转向控制,并分别从精度、实时性以及泛化性等多个角度来解决无人汽车的定位及方向角控制问题。本文主要完成了以下三方面工作:1.针对传统基于特征的方法,其关键点的提取和描述子的计算存在耗时长,特征利用率低以及在纹理不明显情况下容易失效等缺点,且直接法对光照变化敏感的不足。本文利用CNN提取丰富的场景特征信息,实现周边环境的精确感知,并采用Bi-LSTM将当前时刻前后图像帧序列化信息作为约束,提出一种利用前后时序信息的车辆定位模型,在保证无人车位姿估计精度的同时,保证了实时性,为高速行驶的无人车提供精准的定位信息。实验结果表明,本文提出的车辆定位算法,位姿平移量精度较传统基于特征的算法比提升87.6%,位姿旋转量精度提升1.7%。2.针对传统无人车方向角控制算法无法满足连续场景下长时间预测的问题,本文提出了一种R-CNN车辆转向角控制模型,以单张图像为单位,五张连续图像为一个序列,进行汽车方向转角的预测。实验结果表明,该算法不仅能降低误差的累计,还能从连续图像帧中挖掘更多有效几何信息来提高预测精度。方向角控制精度比Nvidia-Net提高65.4%。3.本文发现,自动驾驶是一个非常复杂的系统,单一的定位或者转向控制模块都无法很好的保证无人车的正常运行。因此,本文在上述两种算法的基础上,提出一种基于先验定位信息的转向控制模型。该方法将定位信息与图像信息进行融合以便更精准的预测无人汽车的方向控制转角,从而可以更好的满足无人汽车在多场景下的正常行驶需求。实验结果表明,本文提出的融合定位信息与图像信息的控制模型的转向控制精度比未融合定位信息的控制模型提升74.5%。