【摘 要】
:
Hadoop中数据及其副本如何更好的存放和管理是HDFS中亟待解决的问题。在实际中,Hadoop同构下默认的数据放置策略对异构环境下的设想存在一定的局限性,在异构环境下使用可能会
论文部分内容阅读
Hadoop中数据及其副本如何更好的存放和管理是HDFS中亟待解决的问题。在实际中,Hadoop同构下默认的数据放置策略对异构环境下的设想存在一定的局限性,在异构环境下使用可能会增加额外花费和降低Map Reduce的性能。本文首先基于灰度预测模型预测文件数据的热度,提出了一个动态的数据副本放置策略,该策略包括了动态实时计算数据块的副本数,考虑了数据块热度和异构集群下各节点的性能特性,可以根据数据块热度进行实时动态调整。本文的研究内容主要包括以下几个方面:(1)针对数据热度预测问题,通过分析大量历史文件数据的访问请求次数,发现其在某个时间段内具有一定特征,为了能够找出这种特征,本文采用了一个灰度预测模型,在某个特定时间段下,通过对历史数据块请求次数进行预测,用于得到对下一个时间段的数据块热度预测结果。(2)针对静态数据副本因子所存在的缺陷,使用了一个实时热度副本计算方法,结合动态权重和当前数据块的热度,即数据块的访问率,以便得到该数据块应有的副本数。(3)针对异构集群,提出了一个动态的数据放置策略,结合各个节点的计算能力、磁盘存储空间、IOPS(Input/Output Operations Per Seconds磁盘每秒读写操作次数)等参数不一致的情况,来决定这个新的副本什么时候放置,放置在哪个节点上。(4)在仿真系统中对该策略进行实验,结果表明本文提出的动态数据副本放置策略比Hadoop中默认的静态数据放置策略的性能高、系统执行时间快、降低了网络访问竞争和减少了用户响应时间。
其他文献
QR码作为移动互联网的入口之一,凭借其制作方便、存储容量大以及扫描稳定等特点,成为人们日常生活中最常使用的二维码。但是,由杂乱无章的黑白块构成的传统QR码,较差的视觉效
近年来,在医疗输液制剂生产行业,由于自动化灌装技术的应用,输液灌装制剂的年生产量极大。而对产品质量的检测环节还处于人工视觉检测的阶段,大大限制了生产效率。本课题通过
随着互联网的快速发展,在线观看和传输视频变得越来越便捷,视频正日益成为人们生活和工作中获取信息的重要渠道。但在利益驱使下,视频的盗版问题正变得日益严重。近年来,数字
土地是农民赖以生存的基础,没有了土地,农民的生活保障程度大大削弱,我国是农业大国,13亿人口中有8亿多是农民,农民的安居乐业保持国家安定、社会稳定的最重要条件之一。随着
大型开源软件项目,诸如:Eclipse和Mozilla这样的开源软件,都配备相应的缺陷追踪系统,因为这样的软件项目系统规模庞大,需求量高,不断有新的功能扩充。缺陷追踪系统每天会产生
鉴于NAND Flash闪存的可擦除次数有限,不均衡的擦除会降低闪存的可靠性,因此,为了延长闪存的使用寿命,设计一个自适应均衡擦除次数的磨损均衡算法至关重要。混合固态硬盘通常
随着我国经济持续高速增长以及基础环境的日益完善,人们的日常支付手段也随着科技的发展不断地发生变化。基于移动互联网的金融创新之下,第三方支付发展迅猛,深刻改变了支付
随着近10年来数字出版产业编撰技术与传播模式的变革,传统出版产业的采编排印发流程开始从实现数字作业向实现协同编撰发展。和之前传统的百科类出版物编撰工作相比,在当下“
序列比对是生物信息学中一个重要和活跃的研究领域,是生物信息学研究的基础内容。DNA是生物体中一种遗传物质,它作为一种媒介,将遗传信息从上一代遗传到下一代。所有的生物(
近几年,在未来互联网的研究中,全新网络架构的设计引起了大家的广泛关注。该领域许多的研究项目在美国国家科学基金的支持下先后成立。Mobilityfirst就是其中专门针对移动网