论文部分内容阅读
在过去的几年中,越来越多的企业有了自己的数据中心,还出现了比如Ama-zon,微软和谷歌这类数据中心服务提供商。在数据中心如何使用廉价、常见的网络设备来给应用提供低延迟、高带宽服务是十分重要的问题。TCP是互联网中应用最多的传输协议。尽管TCP被广泛的应用在数据中心,但是在数据中心使用TCP存在以下问题:(1)TCP使用基于丢包的拥塞检测方法,当网络中出现拥塞时,数据包被丢弃,导致发送端速率震荡大,网络利用率低。(2)交换机的队列长,排队延迟高。(3)不同应用的流优先级相同,不能满足不同应用对带宽和延迟的需求。(4)TCP是数据流级别的传输,难以满足数据中心传输任务对时延的要求。因此,需要对数据中心应用传输同时进行流级别和任务级别的传输优化,并兼顾网络拥塞和应用特征。基于此,本文从流和任务级别对数据中心中的传输和调度方法做出优化,主要研究内容和贡献如下:(1)提出了数据中心传输模型,具体包括了基于ECN的流传输模型和任务级别传输优化模型。通过基于ECN的流传输模型,可以推导出基于ECN流传输协议的参数设置区间。针对数据中心任务传输,本文提出理想化权重流组完成时间优化(Idealized Weighted Coflow Completion Time Minimization,简称 IWCCTM)问题,并提出2-近似离线算法解决此问题。(2)针对流级别的优化,本文提出了期限自适应的流传输算法-LPD和基于流传输时间的速率控制机制-FDRC。其中,LPD针对基于期限的拥塞控制机制在网络负载严重时失效的问题,提出数据中心基于期限的控制策略应该遵循“越拥塞,越区分”的设计原则,使得网络拥塞严重时,依然可以根据期限进行速率控制。FDRC针对数据中心的流是有期限的流和短流的混合,而当前机制并不能同时满足这两种流需求的问题,提出基于流持续时间的拥塞控制机制,使得错失期限的流和流平均完成时间都大幅减少。(3)针对任务级别的优化,本文提出基于流信息的调度策略D-Target及基于任务重要性和网络拥塞的调度策略Yosemite。其中D-Target针对网络中使用随机选源和流级别传输导致文件访问延迟较大的问题,提出在预先得知流信息的前提下,结合纠删码存储系统的源选择,优化文件平均存取时间。Yosemite针对未考虑应用重要性,导致重要任务传输性能低下的问题,提出可以无需得知流信息,即可优化平均权重任务传输时间的策略。(4)设计并且实现了传输优化系统FlyTransfer,并在OpenStack等真实环境下进行了部署和测试。实验发现,FlyTransfer可以同时进行流级别和任务级别的优化。本文还对FlyTransfer进行了性能评估。