基于深度强化学习的多小区网络资源分配优化的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:wsf3344
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信网络的快速发展,移动用户对数据的需求也越来越高,这推动了蜂窝网络基础设施的建设和移动设备的爆炸式增长。但过于密集的基站部署会影响移动用户和设备之间的通信服务质量,对无线资源的消耗也成倍增加。因此,如何对无线资源的分配进行优化成为研究的关键。在通信领域中,资源分配的优化需要处理大量的基站数据。随着人工智能的日益兴盛,学者们将其与基站端的数据处理相结合,以此优化相关的处理过程与结果。作为人工智能研究的核心技术,机器学习算法增加了数据处理方式的多样性,降低了传统技术处理过程中所涉及的较高计算消耗,提高了算法的决策能力。强化学习(Reinforcement Learning,RL)是机器学习的主要方法之一,被引入无线通信系统。该算法模拟网络环境以及优化环境资源分配的能力尤为突出。但是,强化学习只能处理静态的网络环境,同时算法的复杂度很高。因此,本文引入卷积神经网络(Convolutional Neural Networks,CNN),提出了深度强化学习算法(Deep Q Network,DQN),构造动态连续的状态空间,获得更好的系统性能。针对多小区蜂窝网络下行链路,本文将提出基于深度强化学习算法进行频谱效率(Spectral Efficiency,SE)和能量效率(Energy Efficiency,EE)的无线资源分配优化方法,论文的主要工作如下:首先,提出了一种基于深度强化学习的多小区频谱效率优化算法。针对多小区蜂窝网络系统容量问题建立优化模型,利用Q-learning(QL)算法最大化整个网络系统容量。考虑到庞大的基站数据和不断变化的网络环境,提出一种基于深度强化学习算法的无线资源映射方法。通过仿真分析,与传统QL算法相比,提出的深度强化学习算法可以获得更高的系统容量,在收敛性和稳定性方面有显著提高。其次,提出了一种基于Dueling DQN的频谱效率和能量效率联合优化资源分配算法。根据系统模型,分别获得基站的频谱效率和能量效率。考虑到环境的动态性质,根据用户数量的变化对SE和EE进行了动态加权。然后,对DQN结构中的CNN进行优化,提出了Dueling DQN算法,提高算法的稳定性。仿真结果表明,与DQN算法相比,Dueling DQN算法能更好地解决SE和EE联合优化问题,同时算法的收敛性也得到提升。
其他文献
水泥制造业是对能源依赖度非常高的行业之一,在整个生产的总成本中,能源消费占其中的一半之多,尽管水泥企业近些年在节约能耗方面做出了巨大的努力,但是吨水泥的综合电耗水平与世界先进水泥企业的水泥生产电耗水平仍然有一定的差距。在面对企业发展的压力时,水泥企业对节能降耗的重视将日趋增高,而在水泥生产过程中,水泥煅烧系统是最耗能的部分,水泥煅烧系统几乎每个环节和设备都存在众多理化反应,这就导致水泥生产涉及的数
光纤性能和制造技术的不断发展,使光纤传感器的研究越来越有价值,也使光纤传感器能应用到的领域越来越多。光子晶体光纤(Photonic Crystal Fiber,PCF)的问世与发展,极大推动了光纤传感器的研究与应用。光子晶体光纤的多孔结构灵活多变,为了能够实现表面等离子体共振(Surface Plasmon Resonance,SPR)效应,可以在光子晶体光纤上镀金属层或者直接添加金属棒。本文首先
极化码是由Arikan提出的一种基于信道极化现象的线性分组码,在信道编码的方案中编译码复杂度低,并且具有逼近香农极限的能力。传统的极化码译码方式为连续消除(Successive Cancellation,SC)译码,复杂度低但延时较高。深度学习技术在复杂网络环境中学习数据特征,具有强大的灵活度和计算优势。本文使用时间卷积网络(Temporal Convolutional Network,TCN)开
伴随着我国街道上摄像机数量,自动化行驶的需求的增多,对行人检测算法性能要求也在不断提升,而在经过多年的研究之后,行人检测算法也日益成熟,已经能够应用于实际生产环节之中。本文在研究当前主流的行人检测算法之后,对于现有的检测算法做出总结和梳理,在对比不同算法思路之后,提出一种基于Anchor-free的一阶段检测算法,使得检测模型在保证一定检测精度的情况下,更加轻量化,且适应于遮挡场景。本文算法针对通
大雾造成的低能见度往往严重影响车辆行人违纪识别、交通流检测等智能识别系统的运行效果。大雾情况下,空中漂浮的大量小水滴、小颗粒散射大气光照,阻碍了成像物体上反射光传播的路径,相机接收到的反射光大大减少,从而造成成像质量降低。因此,图像去雾的工作对保障智能识别系统的稳定、有效工作,具有重要的现实意义。本文改进了传统建模的雾霾图像合成方法,针对固定监控摄像头,提出一种基于暗通道的雾霾图像融合方法生成成对
法脿镇位于楚雄彝族自治州双柏县(以下均简称楚雄州),位置偏僻,山高林密,自然生态环境良好,是非物质文化遗产“老虎笙”的发源地。“老虎笙”是当地彝族支系罗罗人每年正月初八要跳的祭祀性舞蹈,是虎图腾崇拜的一种表现形式,也是古傩仪的珍存,具有极大的文化价值和经济价值。从2008年开始,法脿镇政府开始举办一年一届的法脿彝族老虎笙节,将其作为具有民族特色的节事旅游品牌推出。节事旅游是最近几年提出的概念,大众
随着医疗技术的发展,越来越多的患者选择植入金属义齿,以改善口腔中的牙齿问题,而关于这些患者的术后评估诊疗,一直以来都是临床诊断中的困扰和难点。当患者口腔中带有义齿、金属夹等异物时,他们的CT图像会因为这些高密度金属物的存在而产生明暗相间的条纹或散射状伪影,导致牙齿的组织结构边缘模糊难辨,给临床诊断带来极大的困难,严重情况下,甚至会造成疾病误诊,为患者的后续治疗造成不可估量的威胁。关于金属伪影校正的
随着互联网金融等行业的发展,个人生物特征被广泛应用于识别生物的个体身份。当前,使用较多的生物特征包括面部特征和指纹特征等。脑电信号也是一种独特的个人生物特征,由于其无法模仿和再现的优势,逐渐受到科研工作者的关注。然而当前基于脑电信号的个体身份识别仍有诸多关键问题有待解决,例如:可被用于身份识别的脑电信号的采集状态依然不明确;传统的脑电信号身份识别的数据特征是少数电极通道采集的单个波段脑电信号的频域
本文分为两部分,在第一部分中介绍了晶体材料的发展以及对晶体在高压下的相变研究,着重介绍了理论基础和计算方法,包括对2-甲基-2H-萘并[1,8-de]三嗪在0 GPa-250 GPa的压力范围内的结构、电子和吸收性质进行了详细的研究(下文简称2-methyl晶体)。众所周知,对于固体高能材料在高压下微观特性的研究一直是一项具有挑战性的任务,采用实验的方式研究材料需要相对苛刻的条件,因此使用计算机模
目前,建筑工地的视频监控分析系统依然以人工监察为主,然而监察员检查频率低,反馈时间长,工人安全意识相对薄弱,都导致建筑工地安全事故时有发生。因此,实现建筑工地安防视频分析系统的智能化和实时化势在必行,同时也是施工企业发展智能化安全管理的重要手段。针对这一课题,本文主要研究实时分析建筑工地作业人员是否佩戴安全防护用具(安全帽等)的智能算法设计,并从数据收集与制作、模型设计与训练和模型评估与优化三个方