纠删码存储集群归档、重构、读取优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:PM123nx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
出于存储效率的考虑,纠删码存储策略已成为副本存储策略的重要补充。为节省存储空间,存储系统往往将低热度副本数据按纠删码方式进行归档存放;另外,相对于副本方式,纠删码方式存在修复时间长、访问延迟高的不足。因此,快速归档、高效重构和低访问延迟构成了纠删码存储系统的重要设计目标和挑战。  以纠删码存储集群为研究平台,分别对归档、重构和读取三个方面提出优化,具体包括一类流水线归档策略、一种针对多节点失效的交叉重构策略和一种异构性感知的读取策略:(1)为了加速归档,流水线归档策略利用链式布局的数据局部性生成多个校验块。一方面,限制参与归档的节点个数;另一方面,最大限度使用节点的磁盘资源以提高并行性。(2)为了减小失效窗口,交叉重构策略将多个条带互斥地分配给不同的重构节点,以并行的方式来恢复多个条带的失效数据;为了减少交叉读取对存活节点磁盘顺序读取操作的干扰,对存活块采取预取操作。(3)为了给用户请求提供稳定的响应,读取策略监测节点的速度和负载,根据统计信息估计响应时间并有节制地使用降级读从快节点获取数据。  实验结果显示,相比于传统的归档、重构和读取策略:(1)流水线归档策略一方面可以提供最短的响应延迟(减少7%至22%),另一方面可以提供最快的归档速度(用时减少53%至63%);(2)交叉重构策略在多节点重构时能提供1.63倍至2.14倍的加速比;(3)异构感知读取策略能够为数据量小的请求提供最快的用户响应(加速比至少为1.71倍)和最高的吞吐率(高于其他策略至少38%)。
其他文献
工业制糖结晶过程需要操作人员不断地观察罐内晶粒状况,以便采取相应的操作。目前多数糖厂都是抽样探棒取出糖膏样品在灯下观察或手捻凭感觉来判断,不能直接观察到罐内晶粒变化
综合评价作为一种能为决策提供科学依据的方法,已广泛渗透到社会、科学、经济、管理等诸多领域。自20世纪50年代以来,国际上对科技项目评价方法的研究在理论和实际应用方面都
随着计算机网络和通信技术的迅猛发展,小型企业和家庭网络成了通信领域的新热点,这一类网络规模虽“小”却“大有可为”。多媒体通信现在成为通信领域中的重要工作,但是在防火墙
MMDB(内存数据库)的研究近年来一直是国内外数据库领域研究的热点。内存数据库在对实时性要求高的领域扮演了关键角色。但在MMDB研究方面还有许多的难点需要攻克。本文对事务
分布式拒绝服务(DDoS,Distributed Denial of Service)攻击是一种常见的恶意入侵攻击形式,由于其隐蔽性和分布性而难于检测和防御,近年来它给Internet业务带来了不可估量的损失
目前,远程教育的教学方式中应用最广泛影响最深远的是基于Web的远程教育,然而基于Web的多媒体计算机远程教学系统存在着系统智能性不高、系统的弹性与适应性不足等缺点。Agen
对集值属性数据库进行查询与检索有赖于高效的检索机制。因此,如何将基于集值属性的数据库数据进行合理的分类,从而建立相应的索引机制并进行子集查询就成为了一个亟待解决的问
本项研究工作的背景是:四川省网络通信技术重点实验室对下一代Internet体系结构的研究——“单物理层用户数据传输与交换平台”(SUPA-Single User-data transfer & switching
在角色动画中人物模型是由动作数据驱动的,而动作数据一般通过动作合成编辑以及动作捕捉技术得到。随着动作数据的急速膨胀,动作数据检索技术变得尤为重要。本文首先讨论了动
随着互联网数据信息的爆炸式增长,以及现今云计算、云存储环境下大规模数据密集型应用的蓬勃发展,分布式文件系统以其高可靠性,高吞吐率以及海量的存储能力等优点,受到了学术界和