随着通信技术的日新月异和无人机技术的不断成熟,飞行自组网（Flying Ad-Hoc Network,FANET）逐渐成为近年来计算机网络研究领域的热点。飞行自组网具有无人机节点移动速度范围大,网络拓扑变化频繁,通信链路不稳定等特点,因此设计一个高效的路由协议是FANET的重要研究内容。本文针对飞行自组网的特点,对基于强化学习的Q-Routing路由协议进行改进和优化,使其更加适合飞行自组网的场景,提高其在飞行自组网中的性能。本文的主要工作内容如下:首先提出了一种基于强化学习的自适应AQ-Routing协议。该协议在Q-Routing的基础上设计了动态折扣因子,折扣因子的设计综合考虑节点的移动性、节点的剩余能量和通信链路的可用性,使得节点能够根据环境的变化选择最佳的路由。此外,为了避免路由陷入局部最优,提出了基于UCB算法的路由探索策略,实现探索和利用的权衡以使路由收敛到全局最优。其次,针对大规模的飞行自组网路由维护开销过大导致网络性能急剧下降的问题,提出了一种基于差分进化算法的分簇CQ-Routing协议。该协议设计了基于节点移动性、节点剩余能量和节点分布的适应度函数,使得网络的分簇结构更加稳定。为了防止算法出现“早熟”现象,提出了自适应的交叉概率调整机制,从而计算出最优分簇方案。CQRouting协议的分簇算法极大的减少了路由维护开销,延长了网络生存时间。最后,利用NS-3仿真平台对Q-Routing、AQ-Routing和CQ-Routing协议进行仿真。实验结果表明,在大规模飞行自组网中,CQ-Routing在分组投递率、吞吐量、平均延迟、路由控制开销和生存时间等网络指标上具有更好的性能。