Hadoop元数据服务器读负载迁移研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hzuns
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化的提高,数据量也越来越大,人们对存储资源的需求越来越大。本地文件系统已经不能满足人们的需求,为了解决人们对性能、容量以及伸缩性的需求,分布式文件系统应运而生。HDFS是一个典型的分布式文件系统,通过分析HDFS的特点,得出在大量小文件读写时,Namenode将面临巨大的负载,成为制约系统性能的瓶颈。结合Namenode主备服务器元数据结构几乎一致的特点,减轻主服务器负载。采用动态哈希算法来分布元数据,将相同哈希值的文件聚集在同一条目中,作为一个迁移单位,细粒度的进行管理。结合历史负载和当前负载,采用动态均衡算法,来确定迁移的条目,保证主备节点负载相对均衡。利用客户端进行被动更新哈希表条目,来保证哈希表的同步。测试结果表明,采用了读负载迁移的设计后,Namenode性能有了明显提升,随着并发访问数量的增加,系统性能有了明显优势,对于1000客户端以上的并发读访问,Namenode性能提高15%。在高并发下,对于小文件访问,性能提高1倍。相对于静态子树分割和静态哈希分割,有更好的负载均衡。对于备份节点的水平增加,系统表现了良好的扩展性。
其他文献
随着企业信息化建设的深入,企业逐步开展业务系统建设,由于系统的建设时期、开发技术、业务特征等诸多因素影响,这些系统之间并不能有效地实现信息共享和交互,将不可避免地导
XML以其扩展性、结构性、平台独立性和自描述性等特性成为数据表示和交换的事实标准,越来越多的应用使用XML来存储、交换和发布信息。但是目前关系数据库并不能很好的支持XML
纠删码具有低存储开销高容错特点,可以将(k+r,k)纠删码用于归档访问频率低的数据副本,既可以保证数据的可用性,又可以提高存储空间的利用率。根据待归档数据块的存放规则,数
专家系统是人工智能研究方向的一个重要分支,是一种对特定领域的问题求解并给出解释的一种智能软件系统。它模拟的是现实中某一领域专家解决问题的方法和推理。现实中的专家
图像融合是通过一种特定算法将两幅或多幅图像合成为一幅新图像的过程。通过融合能得到比单一信息源更丰富、精确和可靠的有用信息,最大限度的获取对目标或场景的完整信息描
近几年,关于无线传感器网络的研究取得了一定的成果。但是,适合无线传感器网络的数据聚合协议仍存在着广泛的研究空间。由于无线传感器网络受节点能量的限制,而传感器节点的
现今,网络的快速发展为人们提供了大量的信息资源,人们希望在大量的信息中能够快速准确地找到自己需要的信息,在这样的背景下自动问答系统应运而生。自动问答技术(Question A
在当前网络发展中,网络安全所表现出的脆弱性越来越突出。虽然针对越来越多的网络攻击,相关研究者或技术人员提出相应的有效补救措施,如各种各样的防火墙,杀毒软件及专门针对某一
图像分割是一种底层的图像处理技术,它利用图像的某些特性,将其划分为若干个独立的有意义的相似区域。图像分割广泛应用于医学、军事、体育、农业等领域。按实现原理将图像分
目前,虚拟化技术已经广泛应用于数据中心,但其引入的性能损失仍然是制约其发展的瓶颈。即便是在单根输入输出虚拟化环境下,虚拟机的延时和带宽都逊于原生系统。对其的改善可