多智能体系统是分布式人工智能的一个重要分支,在无人系统协同、资源管理、队形控制等领域有着广泛的应用。近年来,深度强化学习被应用于多智能体领域,在应对动态开放环境、知识可迁移等方面表现出显著优势。然而,当前多智能体深度强化学习方法在应用中也存在如下问题:（1）训练过程中的过时经验问题。深度强化学习的训练依赖历史经验,然而在多智能体场景下,所有智能体的行为策略都在动态进化,使得单个智能体经验回放池中的历史数据、尤其是关于其它智能体的知识会失效,从而导致策略收敛速度慢;（2）运行过程中的系统开放性问题。实际的多智能体系统往往是开放系统,存在旧智能体的退出、新智能体的加入等现象,新加入系统的智能体如何快速地学习到完成任务所需的协同策略,当前工作较少涉及。本课题针对上述挑战开展工作,使用多个Actor从多个平行世界采样训练数据并放弃重用训练数据的方法来避免过时经验问题,融合基于平行世界的方法与经验回放池来权衡降低过时经验影响与提高数据利用率,使用协助学习提高新加入系统的智能体的学习速度。具体而言,本课题开展了如下三方面工作:（1）提出避免过时经验的并发强化学习算法针对过时经验问题,本课题借鉴单智能体领域并行化强化学习方法的思想,使用多个Actor并行的从平行世界采样训练数据,并进一步结合n-step方法加快策略收敛速度。该方法不重用历史训练数据,而是代之以每次训练都使用Actor采样数据,从而避免了过时经验问题。（2）提出适当利用历史经验的平行世界强化学习算法在多智能体系统中,近期的历史经验能够在一定程度上反映系统实际,对于训练收敛可能有所助益。因此,课题在避免过时经验的并发强化学习算法的基础上,本课题将其与经验回放池融合,并进一步通过经验回放池重用数据对应的时分误差（Temporal Difference Error）,降低训练需要的计算量。该方法能够在降低过时经验影响与提高数据利用率取得有效权衡,能够降低策略收敛所需的时间。（3）提出基于协助学习的智能体协同策略快速生成方法在系统中加入新的智能体时,已有策略的智能体可以基于其知识,指导新智能体快速学习到协同策略。基于这一思路,本课题首先给出了一种生成能够帮助新智能体快速学习策略的协同建议的方法,并证明了该方法的最优性。而后,提出基于协助学习的“硬建议接纳”和“软建议接纳”两种方法,其中“硬建议接纳”方法采用智能体只在训练前中期接收建议,接收到建议就执行建议的方法;“软建议接纳”方法采用智能体在整个训练过程接收建议,但只以一定的概率接受建议的指导的方法,更适用于存在多个最优解平局的问题。课题选取多智能体协同运输这一典型问题作为实验场景,对上述方法进行了实验验证。实验结果表明,相对于已有工作,上述方法在多智能体协同任务中可以有效减少训练迭代次数、降低策略收敛所需时间,加快新智能体策略学习速度。