随着移动互联网的高速发展,第五代移动通信系统成为当前关注的重点。不同的应用场景对网络有不同的需求,采用基站超密集部署以提升网络容量,采用网络切片技术以满足服务质量迥异的业务需求。因而,基站选择策略和网络切片资源管理算法就成为学者们研究的热点。3GPP在R14中提出了双连接方案,即用户可以同时连入4G基站与5G基站。在该场景下,传统的基于接收信号强度的算法已经不再适用于基站选择问题,无线接入网侧的网络切片资源管理也需要专门设计。因此,在双连接场景下,本文分别以用户为中心和以基站为中心,研究了基于强化学习算法的移动通信网络资源优化问题,主要研究内容如下:(1)针对已有基于强化学习算法的基站选择策略收敛较慢且无法适应网络场景动态多变的问题,提出了一种基于强化学习的双连接基站选择算法。该算法以用户设备为中心,以最大化用户吞吐量为目标。该算法将基站选择问题映射为一个强化学习问题:将用户设备作为学习者,将无线接入技术选择策略作为动作空间,将当前时刻连入基站所获得的吞吐量作为回报值,从而计算出下一时刻选择各个基站的概率。仿真结果表明,相比于传统的基于接收信号强度的算法,在双连接场景下,所提算法减少了用户设备切换次数、提高了统计时间段内用户的总吞吐量。(2)针对双连接场景中网络切片资源管理问题,在无线接入网侧,提出了一种基于深度强化学习的网络切片资源管理系统。该系统为了合理地分配整个系统内的无线资源,将最大化用户满意度与资源利用率的加权和作为优化目标。首先,提出在该场景下需要研究的问题,分别为切片级和用户级的资源分配问题;然后,针对该问题设计了一种网络切片资源管理系统,该系统包含两个模块,分别解决上述两个问题;最后,对所提网络切片资源管理系统设计了系统状态、回报和用户信息采集的信令流程。(3)针对所提网络切片管理系统,基于深度Q学习算法具体实现了该系统中的切片级资源管理问题。由于传统的Q学习算法并不能适用于状态空间连续的情况,因此添加并训练了一种神经网络,即利用深度Q学习算法灵活动态地调整个系统的切片资源,并映射到各个基站上。该算法将切片资源管理问题映射为一个深度强化学习问题:将中央控制器作为学习者,将系统的切片资源分配情况和用户满意度情况作为状态空间,将系统的切片资源的动态分配作为动作空间,将系统的资源利用率与用户平均满意度作为回报值。仿真表明,在双连接场景下,所提算法在保证用户满意度的同时提升了资源利用率。