自动驾驶在不久的将来将会改变人们日常生活中的交通方式,大量的工作已投入到自主驾驶中的决策和运动控制算法。目前,强化学习(Reinforcement Learning)一直是应用于这方面的主要策略。但是,若将强化学习应用于自动驾驶,其在进行探索时所采取的行动可能造成安全隐患,而且该算法的收敛速度可能太慢。因此要想将强化学习走出实验室并应用于实际的车辆自主学习中的话,迫切需要解决强化学习中的安全问题。论文提出了一种应用于自动驾驶的安全强化学习算法(Safe Reinforcement Learning),通过添加约束来确保算法学习过程中的安全性。论文提出带约束的策略优化算法(CPO:Constrained Policy Optimization),该算法的关键在于在代价函数中引入条件约束。CPO算法基于Actor-Critic算法框架,通过设置硬约束条件降低策略更新的大小来确保策略更新过程中的安全性。论文主要工作内容包括CPO算法的理论证明和推导,实际应用以及仿真结果分析。论文在多种地图上比较了提出的算法,评估和分析了算法在不同地图上的安全性和稳定性。同时,论文也比较了CPO算法和传统强化学习算法之间的差别,证明了CPO算法在学习的效率性和安全性上都优于传统的算法。论文研究结果期望能够为安全强化学习的实际应用提供依据。