无人机（Unmanned Aerial Vehicle,UAV）目前在巡逻侦察、搜索援救、应急通信保障等军用、民用领域都具有广泛的应用。无人机编队控制对于多无人机协同任务具有重要意义,使得无人机集群可以在避免碰撞的前提下完成更为复杂的任务,并大幅提高任务的成功率,避免了单无人机故障的风险。目前对无人机编队控制（Formation Control）问题的研究主要是针对小规模无人机集群控制的研究,而对于大规模无人机集群控制的研究较少。并且在研究编队控制方法时没有考虑无人机与无人机之间的通信组网需求,以及无人机在执行任务时对于队形保持和队形变换的要求。因此,本文针对固定翼无人机在编队控制中队形保持和通信组网的需求进行研究,提出一种分布式的无人机分层编队控制算法,将无人机编队分为三层,每一层采用不同的控制算法进行控制,共同完成整个编队的控制和队形保持。在该控制算法中考虑到无人机编队的队形要求,可以根据任务需求保持队形稳定或进行队形变换,并且该控制算法在无人机规模较大时也有很好的适应能力。同时,针对在无人机自组网中广播开销过高的问题,设计了一种基于OLSR的无人机自组网路由协议,通过MPR转发机制和编号转发机制降低了网络中广播消息的开销;同时该协议可以根据当前编队的稳定性,自适应调节控制报文发送频率,使得该协议可以在适应高速动态网络的基础上,尽可能降低控制报文的开销。最后,本文在编队仿真软件上对无人机编队算法进行验证,仿真结果表明,该控制算法可以在无人机编队移动过程中根据任务需求进行队形保持和队形变换,并验证了该控制算法在有障碍物的场景和无人机故障场景下的适用性。通过和通信仿真软件联合仿真,验证了本文所提出的了无人机自组网路由协议可以完全适用于分层编队控制算法,并可以有效降低通信开销,提高网络通信质量。