随着汽车保有量快速增长,随之而来的交通问题也日趋严重。自动驾驶作为一个有前景的解决方案,在迫切的社会需求和高度发展的人工智能技术共同催化下快速成长。近年来,强化学习在不同的控制决策任务中表现优异,已有研究将强化学习算法用于汽车自动驾驶控制,通过智能体与环境交互,并根据环境的反馈进行驾驶策略的学习。柔性演员评论家（Soft Actor-Critic,SAC）算法作为新颖的强化学习算法,引入了最大熵的概念,使模型效果更平稳,智能体探索能力更强,为实现更优秀的自动驾驶连续控制方法提供了可能性。本论文基于SAC提出了两种改进算法,分别针对算法中的温度系数超参数调节及时间效率进行优化;并对强化学习自动驾驶研究中较少关注的泛化能力和拥塞环境处理能力,设计并实现了针对性的训练方法。首先,针对SAC算法需要人工参与调节温度系数α来间接调节策略熵值以适应不同的环境探索这一现状,本论文观察到当前的SAC算法中α参与到策略优化,猜测α可能自行调节以鼓励智能体最大化奖励,并通过实验证明了这一猜想,以此提出了一种完全自动熵调节的SAC算法。实验证明,该算法在免去人工参与α的调节后,与原SAC算法性能接近。随后,本论文利用SAC算法中策略函数与值函数的内在联系,提出从策略函数反向地推导出状态动作值函数,避免了显示地建立状态动作值函数,同时省去了根据状态动作值函数优化策略的步骤,以此简化了SAC的函数结构和算法步骤,提出了一种无确切状态动作值函数的SAC算法。实验表明,在不降低SAC样本利用率的前提下,改进算法能有效减少算法的训练时长。最后,针对强化学习自动驾驶中的泛化能力和拥塞环境处理能力,本论文设计并实现了一种基于强化学习的多场景拥塞环境自动驾驶控制方法。在智能体学习环境的设计上,基于开源自动驾驶研究平台,构建了多个驾驶环境,分别对应4种常见的道路场景（包括急弯、匝道、交叉路口和环道）,并为所有驾驶环境加入干扰车辆以模拟拥塞的驾驶环境。在智能体的训练策略上,为了针对性地提高智能体在多个场景的泛化能力,本论文在传统的单场景训练的基础上加入了多场景混合训练方法;在自动驾驶智能体的训练算法方面,采用包括本文提出的两个SAC改进算法在内的4个强化学习算法进行自动驾驶智能体的训练。实验结果表明,单场景训练时,本文的改进算法与原SAC算法相比表现更为稳定,尤其在多弯道路表现优异;使用多场景混合训练方法后,自动驾驶智能体提升了应对多场景陌生环境的泛化能力,同时也兼顾与其他社会车辆交互的拥塞处理能力,其中SAC算法综合表现最佳。