论文部分内容阅读
近年来,随着无人机(Unmanned Aerial Vehicle,UAV)的快速发展,无人机集群引起了广泛地关注。无人机集群作为一个庞大的复杂系统,面对复杂多变的环境采用图论等传统方法难以计算维度较大的大规模集群控制问题。分布式人工智能技术为大规模集群研究提供了有效手段,包括采用多智能体系统方法和基于仿生智能的集群控制方法,通过对无人机个体行为和控制策略地设计,可使得大量能力有限的无人机聚集在一起相互作用完成复杂集群任务。本文以多无人机集群编队控制系统为研究对象,以期提高多无人机集群编队避障智能性和环境适应能力。主要从以下几个方面展开研究工作:(1)针对无人机集群避障时,集群中无人机之间的一致性差等问题,基于简化的无人机运动学模型构建了多无人机集群及其避障算法,考虑到无人机集群在简单障碍物环境中避障时个别无人机可能陷入局部最优而无法避开障碍和集群内部无人机可能发生撞机等现象,提出了一种共享障碍物信息的无人机集群协同避障算法,并分析了其合理性,通过搭建MATLAB/Simulink仿真模型验证了算法的有效性,取得了预期的结果,算法提升了无人机集群避障时的一致性。(2)针对使用传统集群算法控制在未知复杂环境中的避障缺陷,本文研究并提出了一种将集群算法和单智能体强化学习算法相结合的无人机集群智能避障算法。集群算法控制无人机进行集群运动并跟踪虚拟领航者,强化学习算法控制集群中的虚拟领航者完成智能避障,无人机集群对环境的探测信息作为虚拟领航者的状态信息,虚拟领航者和集群之间形成动态反馈,仿真结果取得了预期效果,同时提高了避障性能和一致性性能。(3)由于传统多无人机协同控制系统大都将无人机的决策层和控制层分开,从而使多无人机系统在面对复杂多变的环境时部署困难,本文研究了多无人机的多智能体深度强化学习决策控制。针对强化学习在多智能体环境中由于学习智能体策略的变化导致环境非平稳等问题,提出了一种具有中心化训练分布式执行能力的多智能体深度强化学习算法——多智能体联合近端策略优化算法,通过得到中心化的状态值函数使多智能体更好地达到协同,直接输出智能体的控制指令,从而将决策层和控制层联通。使用Tensorflow和Python搭建了并行的网络结构和多无人机仿真环境,训练了多无人机编队及其在密集障碍物环境中的避障任务,结果验证了算法在障碍物环境下的正确性,算法提高了多无人机控制的智能化程度和环境适应能力。(4)搭建多无人机的软件在环仿真(Software in the loop simulation,SITL)平台,并验证了无人机集群和编队算法的正确性。构建了以ROS(Robot Operating System)机器人操作系统为分布式控制系统通信平台、PX4为飞行控制核心以及Gazebo为仿真器的多无人机SITL平台。通过无人机集群算法得到集群中无人机的速度、高度和航向角命令,使这些命令控制SITL中的PX4飞控,使用ROS框架编写集群算法完成无人机集群算法的验证工作。使用有姿态控制环的无人机模型训练得到双机编队的强化学习网络模型,并将这个网络模型移植到SITL环境中。两种算法的SITL测试都初步验证了算法的有效性和实用性。