基于预测的数据中心间流量调度系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:nisshei5zd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为解决在线流量和离线流量共用一个数据中心传输网络,且两种类型的流量在链路中的分配模式固定不变而导致的链路利用率低的问题,本文提出了一种基于在线流量预测的离线流量调度方式,同时通过有效的故障恢复机制来保障流量需求的可用性。实验结果表明,Sliding-k、SEDF以及增量快速重路由的结合能够提高数据中心链路的利用率,保障流量可用性。文章的主要研究工作包含了预测、调度、故障恢复三部分。第一部分,预测。首先使用结合了指数加权移动平均算法和贝叶斯拐点检测算法的Sliding-k方法对链路中需要优先保障的在线流量进行预测,使预测既能在网络环境突然变化时灵敏响应,又能在网络平稳时减少后续调度时不必要的带宽分配重调整。第二部分,调度。调度部分根据预测结果计算出离线流量的可用剩余空间,实现动态的带宽分配,再使用能够同时考虑流量截止时间和流量大小两个维度的智能最早截止时间优先(Smart Early Deadline First,SEDF)算法对离线流量进行调度。第三部分,故障恢复。最后在链路故障发生时,使用基于风险价值理论的方法,对故障链路上的流量进行快速重路由,使那些原本被调度到故障链路上的流量需求恢复可用。此外,文章基于以上三个研究工作开发了基于预测的数据中心间流量调度系统(Inter-DC Traffic Scheduling System Based on Prediction,IDCTSSP)。系统实现了在线流量预测、离线流量调度以及故障发生时的恢复功能,并将这三个功能整合成为整体的流量调度系统。除此之外,系统还具有用户登录注册、系统参数管理、调度结果查看等系统的常见功能。本论文首先介绍了研究背景、工作目标和内容,分析数据中心间流量调度工作的现状,阐述提高链路利用率和保障离线流量可用性的必要性,接着介绍了系统中使用到的主要技术。在此基础之上,对系统进行了需求分析与设计,明确当前数据中心间流量调度场景下存在哪些问题和挑战,根据需求分析给出系统整体架构设计,然后将系统功能模块细化为预测模块、调度模块和故障恢复模块,并描述了各模块的详细设计与实现。接着对系统进行了包括白盒和黑盒在内的场景测试,验证了系统的可用性及稳定性,最后再对全文做出了总结。
其他文献
伴随着全国各地志愿服务活动的蓬勃发展,越来越多的个人和团体投身于公益志愿服务领域中来,与此同时也积累了海量的志愿服务大数据。从2008年全国志愿服务信息系统启用开始,截止至2019年2月底已经在全国31个省级行政区中累积了超过1.2亿志愿者、73万志愿团体和232万志愿项目的海量数据。在大数据和人工智能相关技术快速发展的背景下,如何将志愿服务大数据通过机器学习相关算法进行分析挖掘,并且反哺助力志愿
随着科学技术的发展,机器人不仅仅在工业中得到应用,更是走进了人们的生活中,同时也对机器人技术提出了更高的要求。与上世纪的工业机器人有所不同,现在的机器人大多具有一定的智能性,即使在非结构化的环境中,也能够很好地完成各种工作。而物体检测与位姿估计算法是机器人实现自主操作的关键技术,具有重要的研究价值与应用前景。现有多种方法可以解决物体检测与位姿估计的问题,本文采用基于图像特征的方法用于目标物体的检测
区块链技术的快速发展,在全球各个行业中逐渐体现出广泛的影响。自比特币作为区块链技术的载体出现以来,区块链技术得到了广泛的重视,并在诸多领域展开应用。比特币和以太坊是区块链最为成功的应用案例,以太坊用户可以通过发布运行在以太坊虚拟机上的智能合约,从而在以太坊发布信息;而比特币除了完成交易,也可以通过特定字段进行信息的发布与传播,有漏洞的智能合约的发布与不安全信息在链上的传播,造成了用户的财产损失与区
为了应对5G数字通信中对系统吞吐量、传输速率、传输可靠性的进一步需求,自适应调制编码(Adaptive Modulation And Coding,AMC)技术得到了广泛的应用。AMC技术可以根据通信环境的变化及时地调整无线链路传输的调制编码方案,从而保障通信传输质量。同时,随着现代社会迎来了大数据与人工智能时代,通信与AI(Artificial Intelligence)的结合成为新时代通信的重
人们正处于一个大数据的时代,面对海量的信息资源,如何进行快速准确地信息匹配变得尤为重要,而推荐系统在实现信息生产者与消费者之间的利益均衡中扮演了重要角色。推荐系统研究的用户行为数据可分为显式反馈与隐式反馈两类。隐式反馈数据是目前推荐算法的主流训练数据,而矩阵分解算法依然是推荐系统应用最广泛的技术之一。本文对基于隐式反馈的矩阵分解方法的点积缺陷与数据集的不平衡性两方面进行改进,同时结合神经网络技术来
随着5G网络和计算机视觉应用的快速发展,车联网场景中大量视频数据被用于内容分析,以助力安全驾驶。一方面,基于视频内容理解的任务通常伴随着庞大的数据量和巨大的计算能力需求。移动边缘计算(Mobile Edge Computing,MEC)被认为是一种有前景的技术,车辆通过将此类计算密集型应用卸载到移动边缘服务器进行视频内容理解,以解决与车辆有限能力之间的冲突。另一方面,现有基于服务质量(Qualit
随着越来越多的产品和服务围绕着用户的数据建立起来,大数据时代为人们带来了个性化的服务和智能化的生活方式。但是在数据收集、使用以及发布的过程中难免会泄露用户的隐私。作为一种新型的隐私保护方法,差分隐私不仅可以抵抗任意的背景知识攻击,而且能够以严谨且高效的方法来证明其隐私保护水平,是目前隐私保护领域的研究热点。PINQ平台是最早结合差分隐私的数据分析平台,能够为底层数据集提供强大的安全保证。因此本文选
移动自组织(Ad Hoc)网络具有无需基础设施,组网灵活,高抗毁性等特点,广泛应用于民用和军事方面的场景,具有十分广阔的发展前景,获得了国内外教育、研究机构的广泛关注。随着移动Ad Hoc网络组网技术研究的深入以及计算机网络仿真工具的发展,其智能化研究与仿真的实现需求也越来越迫切。所以,设计一个面向移动Ad Hoc组网技术的智能化交互仿真验证系统有着十分重要的意义。本文在结合移动Ad Hoc网络仿
随着光学字符识别技术的发展,使用深度学习技术进行身份证、发票、照片等图片格式的文件的内容识别的技术越来越成熟,互联网企业中已经产生了各种图片识别相关的落地产品。图片的自动化识别技术的普及不仅能够促进行业技术的进步,同时也能够大幅度的为公司降低人力成本。中国华融资产管理有限公司,公司需要处理各种资产业务,这些资产业务主要是对于各类房产证照的处理。公司需要将这些证照分别整理然后录入到押品管理系统中,然
随着移动通信技术的发展和移动互联网的普及,以视频直播、短视频为代表的新兴行业蓬勃发展,移动互联网的数据流量和内容数量已成井喷之势,而移动互联网中相同内容的重复分发是造成回程链路不堪重负的主要原因,海量内容分发场景下在网络边缘缓存用户偏好的热点内容是提升用户满意度的有效手段。随着5G时代的降临以及移动边缘计算(Mobile Edge Computing,MEC)的逐步发展,在网络边缘部署缓存的落地条