论文部分内容阅读
引起科研工作者的普遍关注。编队控制问题作为多智能体系统协同的一个重要方向,其含义为在控制协议的作用下,具有自主能力的个体能够形成且保持期望的几何队形。通常在多智能体系统的编队控制研究中,人们大多关注编队控制协议的设计问题,很少研究在恶劣环境下多智能体系统的资源受限问题(如计算能力不足、有限的通信带宽、能耗太大)。基于此,本文主要研究内容包括:首先,针对多智能体系统有限通信速度和带宽问题,研究在一类有向非平衡拓扑下的量化通信多智能体系统环形编队控制问题,其中网络通信拓扑包含一个有向生成树,且每个智能体仅能感知到它与逆时针方向邻居的角度距离。为此,我们结合编码-解码器框架,设计一种新型控制算法。在所设计的算法下,每个智能体状态都能以指数收敛速率收敛到期望的平衡点,数值仿真结果验证该算法的可行性。其次,为减少多智能体系统的能耗和计算负载,分别研究采用一阶动力学、二阶动力学描述的多智能体系统事件驱动问题,设计集中式、分布式事件条件和控制协议,其中网络通信结构为有向非平衡拓扑,控制器更新由状态测量偏差与阈值函数的大小决定。在所设计的控制协议下,每个智能体的状态都能达到期望的平衡点,且多智能体系统可以避免Zeno现象,数值仿真结果验证了该算法的有效性。最后,针对经典强化学习的多智能体编队存在通信和计算资源消耗大的问题,本文引入事件驱动控制机制,智能体的动作决策无须按固定周期进行,而依赖于事件驱动条件更新智能体动作。在设计事件驱动条件时,不仅考虑智能体的累积奖赏值,还引入智能体与邻居奖赏值的偏差,智能体间通过交互来寻求最优联合策略实现编队。数值仿真结果表明,基于事件驱动的强化学习多智能体编队控制算法,在保证系统性能的情况下,能有效降低多智能体的动作决策频率和资源消耗。