云无线接入网络(Cloud Radio Access Network,C-RAN)体系结构作为5G蜂窝系统关键技术之一,其不仅可以支持不断增长的用户需求,还减少网络运营商的资本和运营支出。此外,在C-RAN架构下联合高效的资源管理决策可以进一步提升能效、服务提供商的收益及用户体验。因此,本文重点针对基于C-RAN架构的动态资源分配问题进行了研究,主要研究内容及创新工作如下所述:1.针对面向混合能源供应的5G异构云无线接入网网络架构下的资源管理方案优化问题,提出了一种基于深度强化学习的动态网络资源分配及能源管理方案。首先,该算法考虑到可再生能源到达的波动性及用户数据业务到达的随机性,同时为了保证系统的稳定性、能源的可持续性以及用户的服务质量需求,建立了最大化系统服务提供商净收益的约束马尔科夫决策(Constraint Markov Decision Process,CMDP)模型。其次,基于拉格朗日乘子法将所提CMDP模型转换为一个无约束的马尔科夫决策过程(Markov Decision Process,MDP)问题。然后,考虑到行为空间与状态空间都是连续值集合,该算法基于深度确定性策略梯度算法联合优化资源分配及能源管理策略。最后,仿真结果表明,该算法可以在提升服务提供商净收益以及系统能效的同时,保证系统的稳定性、能源的可持续性以及用户的服务质量需求。2.针对设备到设备(Device to Device,D2D)辅助的云雾混合架构下资源分配及任务卸载决策优化问题,提出了一种基于多智能体架构强化学习的资源分配及卸载决策算法。首先,该算法考虑激励约束、能量约束、以及资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量的随机优化模型,并进一步将其转化为MDP问题。其次,该算法将原MDP问题进行因式分解,并建立了马尔科夫博弈模型。然后,该算法基于行动者-评判家(ActorCritic,AC)算法提出一种集中式训练、分布式执行机制。在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载。最后,仿真结果表明,该算法可以有效提升用户体验质量,并降低了时延及能耗。