论文部分内容阅读
地面5G网络与卫星网络相互融合,可组成无缝覆盖的一体化移动通信网络,能在全球范围内为用户提供高质量的通信服务,是未来通信网络发展的重要方向。星地融合网络是由多种不同类型的网络节点组成,具有结构复杂、资源类型多样的特点,并且星上计算和星地通信能力受限于星载资源配置,因此星地融合网络在资源管理上面临新的挑战。随着用户数量、业务流量的爆发式增长以及新型业务种类的不断涌现,需要探索新的缓存与接入策略来应对卫星通信的高时延问题,以满足用户需求。为此,本文结合深度强化学习针对未来星地融合网络的缓存策略与接入策略展开了研究。首先,本文在卫星和地面站两级缓存的场景中,构建了以文件获取总时延为目标的缓存策略优化问题。由于在文件流行度未知的情况下,使用传统算法难以获得良好的性能,因此本文结合深度强化学习提出了基于异步优势动作评价算法(Asynchronous Advantage Actor-critic,A3C)的被动缓存策略,同时将短期文件请求和长期文件请求引入状态空间以应对卫星高速移动造成的流行度动态变化的问题。实验结果表明,所提缓存算法与传统的缓存算法相比,文件平均获取时延可减少约15%。其次,本文在星地两级缓存网络的场景下针对卫星接入策略展开了研究。传统接入策略难以针对星地缓存网络的特征做出高效的接入卫星选择;此外,由于低轨卫星高速移动导致网络拓扑动态变化,造成算法设计困难。针对上述问题,本文提出了一种基于深度Q学习算法(Deep Q-learning Network,DQN)的卫星接入策略。该策略利用软件定义网络架构获取卫星缓存状态、链路负载以及星地距离信息,并以最小化系统文件获取总时延为目标进行卫星接入决策。仿真验证表明,本文所提接入算法与卫星传统接入算法相比,文件平均获取时延可降低约25%。