作为未来提高城市道路通行效率和减少道路安全事故的利器,无人驾驶车辆近年来得到了极大地发展,并且国内外许多科研机构和高校仍在加大研发力度。但要使无人驾驶车辆在混杂的实际道路环境中实现完全的自主驾驶,就必须让无人驾驶车辆的“控制脑”像人类驾驶员一样具有学习和随机应变的能力。而基于传统规则的车辆智能行驶系统仅仅只适用于特定的驾驶场景,无法实现自动驾驶决策系统的环境自适应性和鲁棒性;特别是像城市交叉路口这种由于大量车辆穿行而产生冲突的热点区域,其对无人驾驶车辆做出实时正确的决策有着极高的要求。本次研究就针对城市交叉路口无人驾驶车辆穿越通行问题,综合考虑穿越过程的安全性和效率等因素,提出了基于强化学习算法寻找最优穿越通行策略的方法。针对高车流密度、多冲突热点的城市交叉路口环境,本研究采集了大量真实驾驶员城市交叉路口左转通行的经验轨迹数据,基于指数加权移动平均算法进行数据预处理,基于动态聚类获取驾驶员交叉口穿越通行决策兴趣区域,实现状态空间的降维;利用Prescan和Matlab/Simulink搭建联合仿真平台,综合考虑交叉口穿越行为的安全性、效率性和舒适性等影响因素,基于Neural Q Learning(NQL)算法建立无人驾驶车辆城市交叉口穿越通行决策模型,处理相对速度与相对距离等连续状态信息及无人驾驶车辆横纵速度等连续动作的行为决策,实现无人驾驶车辆安全、高效地穿越城市交叉口;最后在虚拟仿真环境中验证NQL算法的有效性,并与Q学习(Q-Learning)算法结果进行了对比分析。研究结果表明NQL算法在处理连续状态空间和动作空间的决策问题上表现明显优于Q-Learning算法。NQL算法中的BP神经网络权重的迭代收敛所需要的训练样本数据更少和训练时间更短,且收敛后最优动作量的残差率变化控制在2%以内;QLearning算法收敛所需的样本数据和时间明显更多,且最后完成整个交叉路口穿越行为的成功率仅有0.6。在最终的实验验证环节中,NQL算法在横向和纵向两个方向上所做出的速度和加速度决策更加符合人类经验驾驶员的行驶规律,比Q-Learning算法更安全、更高效地实现无人驾驶车辆在交叉路口的穿越行为。