Hadoop数据中心网络TCP Incast问题的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:tzjgy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化年代,网络资源日益庞大,用户请求信息数据量伴随着互联网的发展而不断增加。由于集群存储系统有诸多优势,所以集群存储系统已被广泛应用于数据中心中。集群存储系统中,数据块以条状方式分散存储在多个不同的服务器中,当并发访问的用户过多、响应服务器数量不断增大、多个发送方同步将数据并发传输给一个接收方,当这些并发传输的数据量足够超过以太网交换机缓冲区大小时,就会在高带宽低延迟的环境中发生Incast问题。对Hadoop集群的构造、运行机制以及存在于Hadoop集群中的网络塌陷行为进行了深入研究探讨。结合Hadoop集群运行环境和在集群中发生的Incast问题,对Hadoop集群中发生的Incast问题提出两种解决方案。第一种是提出优化TCP超时来改善Incast现象,通过修改m i nR T O的值来提高网络传输质量,提高带宽利用率。第二种解决方案是通过将数据交错分组传输来避免发生Incast现象。将原先并发传输的数据交错开来实现数据类串行传输,避免发生TCP Incast现象。使用网络仿真工具NS2对这两种方案进行模拟仿真。仿真实验结果表明,通过修改m i nR T O的值可以提高网络传输质量和高带宽利用率;通过将数据交错分组传输可以避免发生Incast现象。论文中提出的两种解决方案都能改善网络传输质量,有效降低在Hadoop集群环境中TCP Incast发生率,避免网络吞吐量出现大幅降低现象。
其他文献
随着计算机网络技术的飞速发展,各种网络服务己经渗透到人们生活的各个领域,一方面给人类活动带来了巨大的便利和好处,同时也带来了前所未有的威胁。由于一些重要数据在网络
蛋白质序列可以按照功能,结构,亚细胞位置等分成不同的类别。 在计算生物学中的一个很重要的问题是如何自动地进行这个分类过程。 我们从两个角度使用核方法来解决这个问
3GPP系统架构演进的一个关键方面是支持多种接入网的演进分组核心的规范。演进分组核心是使运营商部署3GPP无线接入网(如E-UTRAN、UTRAN和GERAN)以及其它非3GPP无线和有线接
在物联网中,下一代互联网可以有效地推动人、社会以及智能物体之间的和谐互动,对智能物体之间和谐互动的研究促进了社会物联网的诞生与发展,主要涉及真实世界感知、数据传输
对等网(Peer-to-Peer,P2P)网络技术是网络计算的一种新技术,资源搜索与定位是目前对等网研究的重点方向。本文在Gnutella模型的基础上设计了一种新的称为Dual-Gnutella的搜索
P2P网络由于其具有很好的可扩展性和健壮性等优势,在互联网中越来越收到欢迎。但是随着P2P的广泛应用,越来越多的证据表明,由于P2P网络的匿名性、开放性等特性正使得P2P网络
近几十年来,问题求解环境(PSE,ProblemSolvingEnvironment)一直是人们研究的热点之一。随着人类基因组测序工作的初步完成,生物信息学这一新兴交叉学科得以产生和发展,并成为生物
社会经济的快速发展带来了人口老龄化、空巢老人的数量急剧增加等诸多问题,人们开始对家庭环境中老年人的安全问题越来越重视,这就需要一种能够自动检测到危险行为的方法,在老年
传统的编译优化技术都是建立在静态分析的基础之上,依赖的都是静态信息,这跟程序实际运行的情况有很大区别,从而并不能达到满意的效果。所以需要一种可以动态收集程序运行时
BPMN(BusinessProcessModelingNotation)验证是BPMN模型在实现或转化成其它语言前,通过某种方法或技术发现模型中存在的问题。这是BPMN模型成功实现的关键。本文主要研究BPMN