随着现代控制技术的发展,无人机已在军事、民用领域有了成功的应用。在对复杂环境和任务的研究过程中,无人机编队的概念应运而生。关于无人机编队的研究涉及诸多层面,一方面追求更高精度的个体控制技术；另一方面也要求建立编队的理论框架,使得在这个框架下无人机编队可以实现协同运动。本文针对如上背景,结合几何力学的相关知识研究了个体的航迹规划和编队保持的控制策略及其算法实现。无人机个体的航迹规划是个体控制技术研究的重要内容,其对应的算法需要满足最优性和实时性。传统的最优控制可以保证航迹规划的最优性。但对于复杂环境或大尺度的问题,时域上的最优控制往往和实时性相矛盾。此时,可以将航迹规划分解为如下两个层次。首先,构造全局规划算法以获取可行航迹点序列。此类算法多为离线算法,具有较好的收敛性。其次,利用最优控制方法求解所得航迹点之间的最优控制。高效的最优控制算法是这个环节研究的主要内容。几何力学着眼于个体的几何特性,利用李群来描述刚体的运动,使得最优控制的数值解具有更高的精度。本文依据离散变分原理得到了刚体的李群变分积分子。藉由李群变分积分子构造的最优控制算法,可以高效的实现刚体运动的最优控制。本文研究了基于人工势场法的编队理论框架。势场法能有效的刻画编队保持所需具有的运动特性,且易与拉格朗日力学系统相结合。势场所对应的势场力即为编队保持所需的控制力。本文讨论的平面中领导-跟随结构的三个体编队是一类受限性三体问题,其上的稳定性分析可以归结为对误差动力学系统的平衡点的研究。基于势场法的误差动力学系统,其平衡点可由势场函数诱导得到。误差动力学系统的平衡点只与编队的平衡结构有关,在平面中为三个体组成的三角形,在空间中则为四个体组成的四面体。但在惯性坐标系下,这些平衡结构往往对应了无数多种可能的坐标组合。误差动力学系统在其平衡点的雅可比矩阵不可求解,这使得编队稳定性的分析陷入僵局。为实现编队的稳定性分析,本文提出一种基于坐标变换和系统约化的分析方法。该方法将多个体在惯性坐标系下的坐标变换为与位置相关的体坐标系下的坐标,从而使编队的稳定性分析能够着眼于编队的平衡结构。在新的坐标系下,平衡结构所对应的坐标是有限且确定的,这使得平衡点的雅可比矩阵可求解。同时,由于变量之间存在依赖关系,需要对误差动力学系统进行约化以去除雅可比矩阵特征值中由变量依赖而产生的零根。本文依据劳斯判据分析了约化系统在其平衡点的稳定性，从而得到了误差动力学系统在平衡点的稳定性。本文利用变分积分子构造了实时的编队控制算法。考虑到变分积分子具有长时间保持算法精度的特性，将其运用于编队的数值积分中。通过定义基于势场法的编队的拉格朗日函数，可以得到编队的变分积分子。在算法的执行过程中，每一步只需求解一组代数方程组，这保证了算法的实时性和等效性。在避障的环节，改进了传统陀螺力方法的时变转弯半径的局限，新提出的修正陀螺力能适用于不同运动状态的编队避障。本文还讨论了非完整力学系统的一致性控制与编队控制。非完整力学系统的位置变量和姿态变量存在親合，其编队系统具有较高的非线性。本文立足于非完整力学系统的由滑模控制实现的镇定，证明了其在多个体一致性控制中的有效性。研究工作主要围绕滑模控制的切换条件和变量收敛性展开。可以证明，对于给定的滑模控制，不同个体的控制切换条件具有等价性，从而证明其一致性控制是可行的。依据一致性控制的结论，给出了编队控制的策略。