基于深度强化学习的低时延高可靠传输资源调度决策优化方法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wolfzhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自动驾驶、远程控制和智能电网等技术的快速发展,对无线传输的可靠性和低时延特性提出了更高的要求,因此低时延高可靠传输场景获得了广泛关注。为了保证在用户服务质量的基础上对低时延高可靠传输需求进行调度,必须通过合适的资源分配算法实现紧缺频带资源和能耗的充分利用。一些传统的资源分配算法可以根据传输需求控制资源分配的策略,但是却难以根据动态多变的环境做出分配决策的调整,毫无疑问造成了传输资源的浪费。而基于深度强化学习的资源调度方案虽然可以实现智能调度决策,但却存在建模复杂、优化困难和难以收敛等问题。针对上述问题,本文针对低时延高可靠传输需求的动态资源分配算法展开了研究,主要工作与创新点总结如下:1.研究了基于深度强化学习的增强移动宽带与低时延高可靠传输复用场景资源优化分配方法。通过对复用传输场景建模,在保证传输需求的约束前提下,以最小化低时延高可靠传输需求的误比特率、增强移动宽带传输需求的平均队列长度以及功率消耗为目标,建立关于复用传输场景的联合优化问题,并且建模为马尔科夫决策过程。将复杂优化问题分解为功率分配与子载波码率设置问题。通过优化算法解决功率分配问题。利用深度Q学习理论对码率设置问题进行分析优化,设计出了一种能够自我优化调整的资源分配策略,能够满足复用传输场景动态变化的传输需求,并通过深度双Q学习算法对决策方案进行改进。仿真结果表明,所提基于深度强化学习的资源优化决策方法相比于传统资源分配算法在降低传输时延、减小队列长度等方面均有较大的性能提升。2.研究了基于深度强化学习的联合重传的低时延高可靠传输资源调度优化方法。首先考虑传输场景下的传输需求约束,对重传场景进行建模分析,以最小化传输时延、误比特率、队列长度以及功率消耗为优化目标,将优化问题转化为马尔科夫决策过程,并将复杂的NP问题进行分解,采用多智能体强化学习方式分别解决功率分配问题和子载波码率设置问题。并通过深度确定性策略梯度算法解决连续状态下的功率分配问题。从而设计出了一种联合智能决策的传输资源分配算法,有效地满足了动态变换场景中的传输需求。仿真结果表明,所提基于强化学习的资源调度决策算法相比于传统算法在降低时延和提高传输准确率等方面的性能优势。本文对基于深度强化学习的低时延高可靠传输资源调度决策优化方法展开了研究,针对复用和联合重传两种传输场景,提出了基于深度强化学习的优化解决方案。解决了动态变化场景中的传输资源智能调度决策问题,实现了保证传输需求的基础上对紧缺传输资源的充分利用。
其他文献
继第三次工业革命以来,互联网技术以惊人之势迅猛发展,信息化技术越来越发达。众多组织机构或者个人保存了大量公民个人各种各样的数据信息。如何保证这些数据的不被泄露,避免个人隐私数据落入不法之徒的手中已经成为数据安全领域的一项重要研究问题。现有的保护个人隐私敏感数据的方式方法易造成丢失原数据的实际意义,且支持处理的数据类型单一。另一方面,系统脱敏结果不可逆,并且在处理大量数据时,耗时较长。因此本论文设计
回溯国内外农村产业结构调整优化的发展轨迹,以产业结构调整优化促进当地经济高质量发展的路径与模式均呈现出特色差异性的成果经验启示和弯路失败素材。为落实践行“五大发
近年来我国的海水养殖业迅速发展,对海水养殖信息进行统计变得越来越重要。传统的实地调查非常耗费时间与人力,已经不适合大范围展开,通过遥感技术对是海水养殖信息进行提取,已经成为海洋环境领域重要的研究方向之一。在遥感图像中提取筏式养殖区域时,目视解译方法既费时又费力,而传统的机器学习方法对遥感数据的泛化能力和拟合能力较差。为克服这两个问题,本文提出了一种基于全卷积神经网络自动提取筏式养殖区域的方法。该方
自实施乡村振兴战略与开展全面脱贫攻坚战以来,广大农村地区的社会基础设施和公共福利得到了明显的改善,村民的物质生活水平也得到了显著的提高,城乡之间的物质生活水平差距在不断缩小。随着农村经济建设的不断提高,村民物质生活条件的不断改善,农村地区文化脱贫问题也将逐渐提到议事日程上。可以说,如何完成村民们的文化脱贫进而实现美好生活愿望成为了乡村振兴战略接下来实施的重点。而对于边疆民族地区来说,在助推少数民族
目的:本研究以扬州市体育公园公共体育服务治理为研究对象,以宋夹城体育休闲公园为例,基于参与者对公共体育服务满意度的视角,从场地设施服务、体育组织服务、健身指导服务、体育活动服务和信息咨询服务5个方面,围绕公共体育服务治理的现状和困境,探讨优化扬州市体育公园公共体育服务治理的路径,旨在为扬州市其他体育公园公共体育服务治理,以及全国其他同质体育公园公共体育服务治理提供参考。方法:本研究以访谈法与问卷调
在薄膜太阳能电池的制造中,所用材料常以多元半导体CIGS(Cu(In,Ga)Se_2)为基础设计。而在背电极中采用Mo-Na膜层,可以有效提高其光电转化效率。CIGS薄膜太阳能电池对Mo-Na膜层的主要要求为:外形光滑、附着性好、均匀性好、较小的应力及异常突起等。Mo-Na薄膜通常由钼钠合金靶材通过直流磁控溅射等方法制备而成,制备高品质的薄膜材料需要以质量优异的靶材为前提。钼钠合金靶材性能的优良程
随着化石能源的缺乏、环境的污染、全球的变暖等问题日益严峻。采用清洁能源的微电网系统越来越得到重视。微电网不仅能与大电网并网,而且还能在大电网出现故障时分开两者的连接,单独运行保证负载的电能需求。对于微电网系统的稳定,不仅需要保证并网运行时或孤岛运行时单独稳定,而且还需要保证微电网系统在运行模式切换时的稳定。两种运行模式的稳定切换,可减小切换过程中电压电流冲击对整个系统的影响,有利于提高电能质量以及
在近些年来,太阳能级多晶硅作为光伏产业的主要原料,其提纯方法逐渐受到研究者们的热点关注。目前在制备高纯太阳能级多晶硅的方法中,因合金法提纯有众多优势:低成本、较为环保、耗能少,而成为实验室中极受欢迎的方法。其中,在Al-Si合金体系方面的研究最为广泛,而在此合金体系下,A1杂质的含量过高,且容易造成硅原料的浪费;同时,对于合金中第三元素的添加并没有系统的最佳成分研究。针对以上问题,本文研究了 A1
党的十九大报告中明确提出要进一步加快发展现代农业,大力推广农业产业化、市场化发展。农民专业合作社就是发展现代农业的重要抓手。早在2007年,农民专业合作社法的颁布具有
随着无线网络技术的飞速发展,智能交通、电子医疗、智能家居、环境监测等物联网应用的逐渐普及改变着人们的生活和工作方式。数据聚合是物联网中的一项关键技术,而传感器是数据聚合技术中最为重要的组成部分之一,但是传感器普遍存在着能源带宽受限的问题,因此在实际应用中,通常将计算任务外包给拥有无限资源的云服务器。此外,随着定位技术的迅速发展,在一些位置敏感场景中,数据源的位置信息扮演着十分重要的角色,基于位置的