随着深度神经网络的不断发展,深度强化学习算法逐渐在运筹学、机器人控制、自动驾驶等领域大放异彩。然而在更贴近现实世界的场景中,利用强化学习算法进行学习的智能体个数往往超过一个,形成竞争与协作共存的多智能体环境,因此多智能体强化学习算法近年来赢得了学术界以及工业界越来越多的关注,但其仍然存在以下挑战:（1）由于智能体数量的不断增加,对应的状态空间同样急剧扩大,尤其在大规模多智能体系统中,维度灾难不可避免。（2）多智能体环境下的非稳态性质导致智能体不仅仅需要和环境进行交互,并且其最优决策受到其他智能体动态变化的影响。现有的多智能体强化学习算法在至多数十个智能体的场景中有所成效,然而随着状态空间的指数级增长以及其余智能体的探索累积噪声,大规模场景下的算法研究需要探索新的方向。针对以上问题,本文在平均场多智能体强化学习算法的基础上提出了基于协作者感知的平均场多智能体强化学习算法和基于隐式奖励值分解的加权平均场多智能体强化学习算法,分别从预判邻居行为以及区别化处理邻居信息两个角度消除平均场多智能体强化学习算法中滞后且均值化的邻居信息所导致的影响。具体工作如下:1.针对动态变化的邻居智能体信息的利用,本文在大规模场景下引入了协作者感知学习。协作者感知学习器将邻居智能体根据当前策略所采取的预期行为作为智能体更新自身策略时的考虑因素,以一个额外的修正项形式计算邻居智能体的下一步行为对自身策略所产生的影响,直接修正了其参数更新的过程,从而获得最优策略。2.由于修正项的计算复杂度对智能体的数量非常敏感,本文基于平均场理论建模了一个虚拟的平均场智能体来模拟智能体观测范围内的邻居智能体的平均影响,从而将多智能体之间的复杂交互问题转变为智能体与虚拟平均场智能体之间的两两交互问题。3.针对不同邻居智能体产生的不同平均场效应,且缓解原有平均场估计中对所有邻居智能体的均值化处理所产生的影响,本文在大规模场景下引入带有权重信息的平均场估计形式,并采用多头注意力机制计算其权重系数,从而实现对邻域信息的区别化处理。4.在加权平均场估计的基础上,本文基于隐式奖励值分解的原则考虑中心智能体的自身行为与其邻居智能体所产生的平均场效应,从个体角度将中心智能体的局部Q值有效转化为其自身作用以及邻居智能体的加权平均场作用之和,在消除滞后邻居信息影响的同时实现完全去中心化的执行。在多个大规模多智能体强化学习环境的实验结果表明,本文提出的算法在收敛速度、稳定性、可扩展性等方面均优于基准算法,且在测试模拟阶段均拥有更高胜率,充分证明了本文方法的有效性。