在金融管理、空中交通管制、通信网络管理等领域存在很多复杂问题,单个Agent解决不了,因为资源或者能力有限,而多Agent系统提供了解决这些问题的可能。但随着科学技术的发展,软件结构向大型复杂转变并呈现出分布式特征,软件的运行环境也从静态封闭走向动态开放,这些新的变化对软件提出了更高的要求,要求软件必须具备自适应的能力,即当环境发生变化时,系统通过调整自身的结构或行为策略仍能正常运行。学习作为自适应的重要技术也备受关注,但常规的学习方法由于需要人直接参与或者间接参与(包括预先指定动作策略或效用策略),要求系统设计者在设计阶段描述所有的系统行为和环境状态,对系统设计者要求太高而且往往难以实现。强化学习非常适用于没有太多环境信息的问题域,因为在该方法中详细的环境模型不是必须的,因此如何将强化学习应用到软件自适应演化中,是当前研究的热点与难点。　　本文主要研究将强化学习方法应用到软件自适应演化中。首先给出一种基于Agent的软件自适应演化支撑框架,并详细阐述了该框架的结构和工作机制。接着给出了Agent分层组织结构和Agent模型,并给出环境形式化定义及Agent模型中核心模块的详细设计,阐述Agent学习工作过程。在此基础上,给出多Agent强化学习方法的框架,利用该框架设计能根据实时交通状况调整策略的交通灯控制Agent,并重点阐述Q-学习方法的设计与实现。最后,通过典型应用案例,对本文提出的多Agent强化学习方法进行验证。