多航天器编队飞行指利用多个在轨飞行中的航天器组成具有一定编队构形的系统，航天器之间通过星间通信相互联系、进行协同工作。和传统单颗航天器相比，它具有灵活性强、可靠性高、成本低等优势，同时能完成更复杂的空间任务。因此，航天器编队飞行在军事和民用领域均具有广泛的应用前景。为了保证编队飞行任务的实现，有效的协同控制技术是关键所在。本论文在总结现有研究成果基础上，以代数图论为工具，综合利用一致性算法的思想和非线性系统理论，对多航天器编队飞行协同控制问题进行了深入研究，主要内容包括以下几个部分：在无向通信拓扑下，基于旋转矩阵的姿态跟踪协同控制模型，研究了多航天器编队姿态跟踪协同控制问题。首先，在假设外界扰动为零的情况下，采用基于行为方式的控制策略给出了一种“比例+微分+前馈补偿”的姿态协同控制器，能够实现航天器对期望姿态和角速度的跟踪，同时保证航天器之间的相对姿态在一定程度上的保持；进一步，通过姿态向量测量的误差分析，在采用姿态的向量测量情况下，提出了对于外界扰动具有鲁棒性的姿态跟踪协同控制策略，并且研究了控制器对于常值通信时滞的鲁棒性。对于有无通信时滞的情况，给出了系统初值需要满足的吸引区范围，以实现姿态协同跟踪。在有向通信拓扑下，基于旋转矩阵的姿态跟踪协同控制模型，研究了多航天器编队姿态跟踪协同控制方法，解决存在参数不确定性、外部扰动、时变通信时滞等情况下的姿态协同跟踪控制问题。首先研究了系统不含有参数不确定性、外部扰动和通信时滞的理想情况，通过引入包含姿态跟踪误差和角速度跟踪误差的辅助中间变量，设计了几乎全局渐近稳定的姿态协同控制器；对于系统存在参数不确定性和外部扰动的情况，分别设计了自适应律估计未知的航天器转动惯量矩阵和扰动的上界，并设计了自适应鲁棒协同控制器；对于同时存在参数不确定性、外部扰动和通信时滞的情况，设计了考虑通信时滞的自适应鲁棒协同控制器，并通过构造合理的Lyapunov-Krasovskii函数，给出了系统稳定所需要满足的充分条件。所得到的三种控制器均是几乎全局渐近稳定的连续控制器，即系统初值在一个测度为零的集合之外均是渐近稳定的，并且只需要通信拓扑结构为强连通的有向图。当航天器无法获知外界参考姿态信号时，在航天器通信拓扑为无向树的假设下，提出了仅需要局部相对信息的多航天器编队自主姿态协同控制方法。利用反步控制的设计思想给出了在理想情况下的协同控制设计，控制器中仅需要体坐标系下表示的角速度和局部相对姿态信息。对于存在外部扰动和转动惯量矩阵不确定性的情况，设计了自适应律估计未知的参数，采用双曲正切函数抑制扰动的影响，并提出了自适应鲁棒自主协同控制策略；最后，对于同时存在外部扰动、转动惯量不确定性、控制输入受限等情况，利用指令滤波的思想设计了保证系统输入有界的自适应鲁棒自主协同控制算法。所提出的控制器均能够实现闭环控制系统的几乎全局渐近稳定性，即除了一个测度为零的集合之外的初始状态，系统轨迹总是渐近稳定的，能够实现航天器的姿态自主协同控制。对于编队跟踪、队形保持、避免碰撞等多个控制目标，研究了编队航天器系统的相对位置协同控制问题。利用编队航天器之间的局部信息交互，基于反步控制方法设计编队航天器相对位置协同控制器，在实现编队整体机动控制时，在一定程度上实现编队构型的不变性。进一步考虑控制输入受限、外部扰动、参数不确定性的情况，基于指令滤波和自适应控制理论，设计了保证控制受限约束的自适应鲁棒控制器。对于航天器编队中的避免碰撞要求，针对航天器质量未知的情形，基于势函数法和自适应控制理论分别针对有无参考轨迹提出了两种自适应控制策略。对于无参考轨迹情形，严格证明了航天器的速度最终达到一致同时保证避免碰撞；对于有参考轨迹的情况，通过选取合理的势函数，设计了新的辅助变量，证明了系统能够实现避免碰撞和速度一致，同时期望目标最终位于编队航天器组成的凸包之内。