SDN数据中心网络下基于强化学习的拥塞控制方法的研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:parisjiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算和5G等新型网络技术的迅速发展,数据中心中的网络流量呈现爆炸式增长的趋势,如何保证数据中心的健壮运行和用户优质的服务体验质量成为当前数据中心中研究的一个热点。在数据中心中,多对一的流量模式极易导致数据中心产生典型的TCP Incast问题(多个发送方同时向一个接收方发送数据,造成瓶颈链路的拥塞),这会直接降低用户的产品使用好感度;而不当的路由容易导致数据中心产生流量负载分配不均的问题,进而造成数据中心中网络节点的崩溃。因此,数据中心需要更智能、更有效的拥塞控制和负载均衡算法。本文基于软件定义网络(Software Define Network,SDN)下的数据中心,引入深度强化学习(Deep Reinforcement Learning,DRL),针对数据中心中典型的TCP Incast问题和流量负载分配不均问题,分别实现了PERDQNCC(Prioritized Experience Replay DQN Congestion Control)和A2CLB(Advantage Actor Critic Load Balancing)算法。针对数据中心中典型的TCP Incast问题,本文结合深度强化学习算法DQN(Deep Q Network)实现了拥塞控制算法PERDQNCC,它可以感知网络环境的状态(吞吐量、Openflow流的往返延迟和丢包率),从而判断网络是否发生拥塞,并动态调整发送主机的发送速率以缓解网络拥塞。PERDQNCC在所有发送主机上部署智能体(一种能够思考并与环境交互的独立实体),定期地收集网络环境信息,通过强化学习所具备的奖惩机制,为发送主机分配最合适的发送速率,达到避免拥塞、缓解拥塞和最大程度利用网络资源的目的。实验结果表明,PERDQNCC在数据中心的TCP Incast场景中可以缓解拥塞,并在链路空闲时充分利用链路带宽。针对数据中心中流量负载分配不均的问题,本文结合深度强化学习算法A2C(Advantage Actor Critic)实现了负载均衡算法A2CLB,它可以根据网络环境的状态(吞吐量、Openflow流的往返延迟、丢包率和链路的可用带宽)为Openflow流动态地选择最优的转发路径。由于传统的负载均衡算法ECMP会将生命周期长的大的流映射到同一路径,从而导致严重的负载不均衡及网络拥塞问题,所以这种静态的映射模式不适合随机性很强的数据中心流量。因此,本文基于A2C算法,为每一个网络转发设备设置一个智能体,监测各个转发路径的网络环境状况,根据环境动态地选择Openflow流的转发路径,以达到负载均衡的目的。实验结果表明,在数据中心常见的胖树拓扑结构中,A2CLB的负载均衡效果比ECMP更好,流量分配得更均匀,并能够充分利用链路带宽。在常见的流量模式下,A2CLB的平均丢包率比ECMP低15.3%,平均往返延迟比ECMP低49.2%,平均吞吐量比ECMP高15.4%,平均流完成时间比ECMP低37.6%。
其他文献
目标检测是计算机视觉任务中的一个重要分支,目标检测的任务是对光学图像或者视频中的物体进行识别和定位,换句话说就是需要标明物体的类别并且要框出物体的位置。因为目标检测要应用于生活场景或者一些比较复杂的场景,所以这时就需要使目标检测算法具有实时性和准确性,就是能快速检测出目标并正确定位和分类。随着人工智能技术的发展,深度学习在目标检测领域用的越来越广泛,人们的生产和生活也到处都有目标检测的应用。例如无
近年来城市轨道交通飞速发展,已经成为现代大城市中最受欢迎的交通方式。列车运行调整对于保证地铁安全高效的运营具有重大意义。作为列车运行调整过程中最关键的因素之一,站台等待人数与列车动态运行之间存在着耦合关系。激增的客流使得地铁系统的发车间隔越来越小,从而导致列车运行极易受到外界的干扰,继而引发列车晚点,增加站台等待人数;而站台等待人数的增加则会延长列车的停站时间,加剧列车晚点。因此,对列车运行调整与
在我国,由于人口众多、城乡医疗资源分布不均衡、治疗效率低下等客观事实,导致医疗资源紧张等问题尤为突出,多数医院人满为患。互联网医疗的迅猛发展在很大层面上减缓了这种状况,使人们有更多的渠道和方法来了解健康资讯和相关服务。微医、平安好医生、阿里健康等国内知名在线健康社区作为医师和患者之间沟通和信息分享的平台,被越来越广泛的使用。患者满意度成为评价治疗效果的一个重要指标,它可以为提高医疗服务质量和优化医
准二维钙钛矿材料与传统的三维有机-无机杂化钙钛矿相比,具备更优秀的环境稳定性,同时因为拥有自然的量子阱结构具有更大的激子结合能,在发光领域备受关注。但是仍然还存在着薄膜各组分相分布不均匀、载流子传输不平衡等问题需要解决,并且目前针对其载流子传输与复合的机理研究也相对滞后。在本文的研究工作中,我们调控了准二维钙钛矿薄膜的相分布,优化了钙钛矿发光二极管(Pe LED)的传输层,并对器件的瞬态电致发光特
人脸属性编辑是指改变人脸图像的某些属性,如妆容、发型、表情等,而保持其他属性不变的手段,目标是提高属性编辑的准确性和生成图像质量。近年来,生成网络尤其是生成对抗网络GAN的发展逐渐成熟,推动了人脸属性编辑的发展。但现存的算法仍然存在一些问题:一是现存算法在对单一属性编辑时难以做到有效解离,存在属性间的纠缠现象,编辑某属性常带动无关属性发生显著变化;二是大多数算法追求编辑人脸属性的有无,而忽略了人们
随着能源短缺和环境污染问题的愈发严重,传统能源汽车的大量使用加剧了空气污染和石油资源枯竭等问题的恶化。发展新型绿色能源及其相关产品的研发技术以逐渐消除人们对传统能源汽车的依赖是解决污染、能耗问题的首要途径。电动汽车作为一种新能源产品,以其环保、绿色等优势迅速获得消费者的青睐。电动汽车销量持续上升,然而电池容量限制、电池技术发展缓慢和出行车辆不能及时进行能源补充等问题阻碍了新能源汽车产业的进一步发展
轨道电路是铁路信号室外三大设备之一,对于铁路系统的正常运转和高效运输意义重大。但因为轨道电路长期连续工作,且工作环境异常复杂和恶劣,所以在现场轨道电路的故障经常发生,轻则影响运营效率,重则危及行车安全。因此,设计一种高效智能的方法,辅助现场工作人员快速准确地判断出故障类型和及时采取措施,使损失降到最小,是非常有意义的。本文主要研究内容如下:(1)选取25Hz相敏轨道电路作为研究对象,详细介绍了其设
铁路专用移动通信系统当前处于向下一代通信制式演进与发展的重要时期,专网技术发展与部署将采用信息通信技术(Information and Communication Technology,ICT)的全新架构进一步为业务应用赋能,加速铁路行业应用业务的创新发展。由铁路数字移动通信系统(Global System for Mobile Communications-Railway,GSM-R)向铁路5G
高峰客流拥挤是当前大城市轨道交通面临的普遍问题,不仅严重影响客运服务水平,而且易引发运营安全问题。拥挤根源在于供需矛盾,当运力供给难以有效提升时,从客流需求侧加强管理成为缓解拥挤的唯一途径。目前,限流是国内各大地铁城市普遍采用的高峰拥挤应对措施,前期国内学者针对限流组织进行了较为丰富的研究工作,然而,既有研究较少考虑客流的常态化波动特性,导致限流方案在实用化方面存在不足。为此,本文从高峰客流波动特
目前,连锁便利店已成为零售行业中发展最快的业态,配送中心是连锁便利店商品配送过程中的重要节点,对其选址、配送路线的优化能够降低配送成本。配送中心选址与车辆路径的优化之间相互依存,两者联合优化能够从全局角度有效地改善配送方案。此外,连锁便利店由于所处城市的不同决定了各需求点的配送需求也有不同。处于一般地级市的便利店受到高峰期的影响较少,对配送时间的要求较低,而一、二线城市的便利店由于人口密集,会受到