目前我国交通面临的重要难题是在城市空间有限及其他限制因素导致基础设施建设难以扩展的条件下,如何利用当前人工智能技术、计算机仿真技术等高新技术来解决交通拥堵问题。我国智能交通管控起步较晚,虽然在智能交通信号控制方面有所突破。但在实际复杂的交通系统中,由于交通系统的非线性、非确定性及动态性等特点,多个效果很好的单点信号控制系统并不能发挥很好的作用。所以,考虑多路口协调控制以及区域协调控制成为当前的一个研究热点,使区域整体或者多路口协调最优是解决交通信号控制相邻路口“强耦合”问题的关键。目前,主流研究方向是如何利用人工智能及计算机仿真来解决这一难题。由此,本文利用PTV-VISSIM交通仿真软件搭建在线仿真平台,利用强化学习方法对智能交通信号控制展开研究,主要开展了以下方面的研究。首先,基于PTV-VISSIM的在线强化学习信号控制平台构建,利用PTVVISSIM COM接口以及MATLAB进行二次开发构建在线仿真平台,根据研究需求设计不同仿真环境。开发在线强化学习算法模块,并且根据实时交通状况进行信号控制方案优化并对优化后的信号控制方案作出评价。其次,建立了基于先验知识的单交叉口信号优化在线强化学习模型。根据单交叉口交通特性,选取排队长度以及延误作为强化学习的交通参数,并对传统的强化学习模型引入“先验知识”让模型快速收敛。接着,对相邻路口进行相位差优化,建立了启发式的强化学习相位差优化模型。主要构建双层学习网络,上层为BP(back propagation)神经网络,下层为Q学习模型,通过BP神经网络学到的“知识”对下层Q学习模型进行启发。最后,利用DN(distinguished node)模型理论,改变以往交通信号控制拓扑关系。以信号控制为节点,路口为方向,进而提出一个新的强化学习训练方式,让强化学习最小学习单元变为两个相邻路口,该模型能够忽略路网拓扑结构,可以进行不同层次的信号控制方案优化,并引入迭代训练强化学习方法,使强化学习训练可以与DN模型结合,使多路口强化学习信号控制可以快速扩展。