近年来,随着无人机(Unmanned Aerial Vehicle,UAV)技术的成熟和广泛应用,多无人机协同应用的不断崛起,无人机拓扑控制技术开始成为新的研究热点。无人机网络的部署灵活高效,不需要事先建立基础设施,不受限于以控制基站为中心的网络结构,其多跳转发的通信模式突破了无人机只能工作在基站通信范围内的局限,有效扩大了网络覆盖氛围,拥有改变战场通信模式的潜力,但同时其多跳、自组织、无中心以及移动速度高、网络拓扑变化快等特点,也给无人机通信系统的设计和实现带来了新的挑战和要求。本文结合仿生进化算法和机器学习相关算法,分别针对无人机网络的拓扑优化、分簇机制和中继选择问题进行了研究,关注网络的连通度、能耗和吞吐量等性能方面的提升。首先,针对战场作战模式下大规模无人机群协同完成任务的场景,设计了一种基于关键节点的离散粒子群算法的分布式拓扑控制方案,首先采用CAM(Connection Adjacency Matrix)算法找出网络中的关键节点,再根据这些关键节点进行网络的分割,进一步地,本文采用了离散粒子群算法来实现网络的拓扑控制,抽象出以最小化网络能耗为优化目标的寻找局部度约束最小生成树的数学模型,从而在每个网络区域内实现有效的拓扑控制。最后通过仿真实验验证了所提算法的有效性,并从网络连通性、平均节点度、平均干扰度、平均路径长度、平均链路长度、链路鲁棒性等方面分析了网络性能优势。接着,本文继续针对无人机自组网中的分簇问题进行了研究。为了实现高动态无人机网络场景下可以快速成簇和有效延长网络生存时间的目标,设计了相应的分簇机制。首先基于均衡带宽计算出目前网络中的最佳簇数,接着采用K-means算法对整个网络进行快速分簇。为了保证每个簇内节点的数目大致均衡,在进行K-means算法分簇完成后,还专门设计了对应的调整机制。最后则在每个簇内实行基于Deep Q-learning的簇头选择算法,通过及时感知周围环境信息的变化,设计适当的奖惩机制,使得整个网络运行过程中的长期回报较大。最后进行了仿真实验,并和传统的最高节点度法、权重法、随机算法进行了对比,并从平均链路保持时间、平均簇头保持时间、网络能耗等方面的性能指标进行了分析,从而验证了本文所提出算法的有效性和正确性。最后本文研究了无人机网络中的中继选择问题。中继选择问题和网络的传输性能密切相关,优秀高效的中继选择策略可以保证各个中继的负载均衡和网络的高吞吐量。在无人机节点数目较多的情况下,集中式方案将会带来大量的信息开销和计算,因此本文选择了分布式Q-learning算法来解决该问题,每个无人机节点会根据周围的环境信息和中继无人机的接入信息来决定自己的选择策略,最终目的是保证整个网络吞吐量的提升。最后进行了仿真实验,结果表明相比于传统的贪心和随机选择算法,该算法可以实现更好的网络性能。本文针对无人机网络动态场景下所面对的拓扑优化,分簇机制和中继选择策略问题进行了深入的研究,建立相应的优化模型和马尔科夫模型,设计了基于粒子群算法、强化学习等理论的对应算法,为动态场景下无人机网络的相关问题研究提供了一些参考和新思路。