基于深度强化学习的智能电网通信网业务路由方法

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wyywzc21200
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能电网是下一代电网的发展趋势和方向,与传统电网相比,它可以充分满足用户对电力的需求以及优化资源配置,体现了电力流、信息流、业务流的高度融合。在智能电网通信网中,业务数量规模和流量规模越来越大,流量模型具有事件性、突发性,需要网络具备灵活调整、快速响应业务变化的能力,给现有网络带来巨大的压力。在此背景下,对电力业务进行合理的疏导分配显得尤为重要。已有的路由分配模型一方面对业务特征的考虑不够完善,另一方面,对模型的求解效率往往不高。基于此,本文针对不同电力业务的特点,在智能电网通信网场景下,提出了基于深度强化学习的智能电网通信网业务路由方法,并对不同的业务场景分别进行了设计与仿真,对于智能电网通信网的安全可靠运行有着重要意义。合理分配业务路由、保证业务快速可靠的传输、提高通信资源利用率、降低网络的风险是电力通信网的工作重点和难点。本课题对两个不同的业务场景特点,分别提出了不同的高效稳定的业务路由方法,并采用相应的深度强化学习算法求解,大大提高问题求解了效率。首先,对于电力控制类业务,它们对于信道的性能要求较高,并且时延也要求控制在较小范围内,大多数控制类业务都采用光纤光缆进行传输。因此,本课题在光传输网络的场景下,提出了一种面向链路均衡的电力控制类业务路由分配方法。链路均衡是指将所有业务尽可能均匀的分布在网络中,使得网络出现故障时,对业务的影响程度降到最低。本文利用了深度强化学习DQN算法对传输网上承载的控制类业务路由进行分配,既可保障业务的总体时延,又可兼顾网络的链路均衡,同时可以弥补传统方法的低效,对控制类业务在智能电网通信网中的安全稳定运行有重要意义。其次,面对快速兴起与突增的IP数据类业务,IP+光的通信网络成为智能电网通信网的重要通信架构。这种网络架构在SDN的控制下,实现对了两层网络的管控和运维。为了提高IP+光网络的协同能力和资源利用率,本文提出了一种基于深度强化学习A3C的IP+光业务路由联合分配方法。首先根据IP数据类业务的特征,以及IP网络和光网络的承载特征设计了业务风险均衡指标,然后结合网络时延、带宽、站点等级差以及主备用路由相似度,设计了合理的主备用路由分配模型。最后,采用A3C算法对模型进行求解,仿真结果和对比分析表明,该方法既可充分利用IP+光网络的资源,又可保障业务平均时延并降低网络风险,同时可以有效的提升收敛速度。对电力数据类业务在智能电网通信网中的路由分配方式提供了参考。本课题对当前智能电网存在的问题和所承载的业务进行了分析,结合已有路由分配方法和求解方式,提出了基于深度强化学习的智能电网通信网业务路由方法,该方法在保证了业务安全高效传输的同时,提高了复杂电网下的路由分配效率,可为以后大规模业务并发时的路由分配方案提供指导,也为智能电网通通信网的建设提供了示范建设和理论依据。
其他文献
单生产者/单消费者无锁队列作为一种用于线程间通信的数据结构,在嵌入式操作系统、网关设计等领域得到了广泛的应用。现有的对于无锁队列的研究均限定了生产者每次只能往队列中写入一个完整的队列元素,消费者每次只能从队列中取出一个完整的队列元素,而实际应用中,生产者/消费者对于队列的操作大都要求队列元素是可变长的。在网络时延较大的弱网链路上,UDP协议没有复杂的拥塞控制机制使得它适合实时数据传输,但UDP是不
随着经济全球化的发展和互联网技术的日新月异,企业所处商业环境日益复杂化和动态化。在这样的背景下,仅依靠企业管理层的经营智慧,显然已无法应对愈演愈烈的竞争局面。而员
稀磁半导体兼具磁性和半导体特性,在自旋电子领域具有广泛的应用前景。与传统的II-V族和III-V族稀磁半导体相比,I-II-V族基新型稀磁半导体能够实现自旋和电荷注入机制的分离,且磁性离子的固溶度不受限制,这为稀磁半导体的研究提供了新方向,也为制备居里温度高于室温的材料和研究磁性来源机理提供了可能。本文采用基于密度泛函理论的第一性原理平面波赝势方法,分别对V掺杂Li Zn P的磁电性质和V、Cr、
信用品质评级是综合信用能力和道德品质因素来衡量借款人的信用状况,从而预测借款人的违约风险。2018年互联网金融网贷平台“暴雷”事件不断发生,原因之一就是大量借款人违约,这严重损害了投资者和平台的利益,不利于网贷行业的健康发展,所以准确衡量借款人的信用状况,控制借款人的违约风险至关重要。本文从构建借款人信用品质评级指标体系、构建借款人信用品质评分模型到借款人信用品质等级划分的逻辑,对借款人信用品质评
柔性应变传感器因具有可拉伸性、柔韧性,而且能够与人体皮肤表面贴合,所以在人体运动检测、健康监护、人机交互和电子皮肤等领域受到研究者的广泛关注。近年来,石墨烯因具有
当下国际投资环境纷繁复杂,国内正处于全面深化改革的阶段,随着国内居民生活水平的提升,对住房的需求与日俱增,房地产行业发展迅速。但房地产行业建设周期长、规模大、需要协调把控的环节较多,加之,党和国家不断强调房地产行业回归理性,实施限购和宏观调控,如何预防和管理房地产企业项目投资过程中可能的风险对于房地产企业来说无疑是关系到企业生死存亡的头等大事。因此,如何识别和评估房地产项目投资建设过程中的风险,有
高技术制造业企业具有更加活跃的技术创新行为,面临在复杂多变的市场竞争环境下,更加愿意投入资金进行新技术的研发、与其他企业进行技术研发合作。面临复杂的市场环境,高技
遥感图像融合通过将多幅遥感图像进行互补整合,得到一幅图像信息更丰富、更精确的融合图像,使得图像特征比较全面,对数据的利用率也比较高,具有研究意义。本文主要研究遥感图像中的多光谱(Multispectral,MS)图像和全色(Panchromatic,PAN)图像的融合,通过将MS图像与PAN图像进行融合,在保留MS图像光谱信息的前提下,提高图像的空间分辨率,可以充分利用遥感图像的光谱信息与空间信息
在现如今这个信息科技飞速发展的时代,战场环境日趋复杂,战术需求也随之增加,一体化的联合作战也成为了以信息为主导的战争。在联合作战仿真系统中,部署在不同作战空间的指控节点、显示节点及评估节点等各种仿真实体连接成一个网络体系,各仿真节点通过该网络体系来实现战场环境态势的高度共享、作战任务的灵活变化,其目的就是通过信息共享来加快节点间交互速度,评估作战任务和装备效能,从而提高作战效能。因此如何让不同仿真
国务院在2018年3月13日,出台了国务院机构改革的方案,该方案包括一项有关税务系统的重要改革——国税地税征管体制改革,将省级及以下国地税合并。H市税务局在进行机构改革合并后,所面临的首要问题,就是税收征收管理工作面对的重要变化和全新的形势。怎样提高监控水平,优化行政质效,强化税收执法人员的法律素质,遏制腐败想象滋生,从而做到机构精简、权责清晰、服务高效、运行畅通、监管顺畅,是当前H市税务局亟需解