存储集群层次架构感知的局部性修复编码研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ydaf2ut9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,纠删码技术因存储开销小、容错能力强的优点而被分布式存储系统广泛应用。纠删码的高修复开销不仅降低了数据恢复效率,还影响了系统的整体性能。局部性修复编码(Locally Repairable Codes,LRC码)使用额外的存储开销来提升单节点修复效率,但因为采用水平结构,仍消耗了大量稀缺的机架间修复带宽,对修复性能的优化效果有限。针对存储集群的层次架构对LRC码进行改进,本项研究做了以下工作:首先提出了分层LRC码(Layered LRC,LLRC),给出了基于分层放置和修复的LLRC框架,将LRC码条带内的多个编码块放在同一机架内,将修复过程分为机架内修复和机架间修复两阶段;提出了基于该框架的两种LLRC码,以及对应的放置和修复方法;还给出了一种底层LRC码的构造方法;接着分析了LLRC码的可靠性与开销,修复开销分析显示LLRC码可以大幅减少修复消耗的机架间带宽,编码容错能力分析说明LLRC码具有可观的存储容错效率,系统可靠性分析显示LLRC码系统因修复效率更高而获得了更高的可靠性,开销收益分析显示LLRC码达到了更好的存储开销-机架间修复带宽开销的权衡;还设计并实现了一个LLRC码原型存储系统,以仿真分布式存储系统中的读写和编解码过程,并在该系统中实现了LLRC码等多种编码策略。对LLRC码修复性能的测试结果表明:机架间的网络传输确实限制了编码存储系统的修复性能;LLRC码则通过减少机架间修复带宽大幅提升了修复性能,与LRC码相比,LLRC码的降级读时间最多减少了69.5%,节点恢复效率最多提升了292.6%。
其他文献
水系统是中央空调系统中应用广泛又能耗巨大的部分,本文以中央空调水系统为研究对象,研究一种方法,能够在不更换原系统用能设备的前提下,达到节能优化与智慧运行的目的,具体
这是一项从“固态性与流动性”辩证关联的视角关注社会转型背景下新生代农民工“村庄关联”的经验研究。论文以云南省曲靖市开村的新生代农民工为经验考察的对象,通过揭示经济社会结构压力下他们行动背后模式性的动机、理由和意义,文章分析了社会转型背景下新生代农民工“村庄关联”的性质、结构性关系及其原因。学者普遍采取“宏观性城乡二元对立的城市化”视角来看待新生代农民工。在这种视角下,他们被预设为普遍要城市化的主体
随着互联网信息技术的发展,数据的规模快速增长,计算机存储系统面临着机遇和挑战。传统的DRAM技术因工艺尺寸可扩展性和刷新功耗等问题在系统稳定性、数据可靠性等方面面临困
近年来,智能移动机器人技术得到了飞速的发展。而同时定位与建图(Simultaneous Localization and Mapping,SLAM)作为移动机器人的关键技术所在,对机器人能否在未知环境中进行
在云计算、大数据以及人工智能蓬勃发展的数字时代,每分每秒都有大量的数据产生。为了快速高效地处理这些数据,计算机系统处理器的数量在不断增加,这导致并行应用程序在充分
磁致伸缩导波检测技术具有单点激励即可实现长距离检测和不可达区域检测等优点,近年来被广泛应用于不锈钢管道检测。目前用于不锈钢管道检测的扭转导波传感器主要是利用预磁化的磁致伸缩带提供偏置磁场,这种形式的磁场不稳定,检测时很难保证激励信号的一致性。本论文在分析了带状磁致伸缩扭转导波传感方法的基础上,研究了偏置磁场对交叉线圈式传感器换能效率的影响,并对传感器进行了设计与制作。该传感器实现了对偏置磁场的调控
互联网的高速发展带来了数据量的激增,海量的数据请求都需要存储系统提供快速响应,并提供高可用性保证。为提高系统性能,热门数据大量缓存在高速键值存储系统中,以减轻数据库的压力。缓存失效会导致数据库的负载极大增加,导致系统性能下降,甚至崩溃。Twitter的Fatcache与Facebook的Mcdipper均为基于固态盘的分布式键值缓存系统,为大量数据提供相对较低成本缓存,然而均未为数据提供可靠性保证
明确房屋买卖合同当事人之间的权利义务是判定双方责任和正确处理合同纠纷的前提和基础,而房屋买卖合同中的附随义务由于具有不确定性,不能在合同订立伊始确定下来,需要根据
由于实现担保物权特别程序制度在我国几乎是一项全新的民事诉讼制度,法律条文的概括、简略造成实务中不可避免涌现出一系列疑难问题。目前在各地法院的司法实践中,法院实现担
随着5G技术和移动互联网的不断发展和成熟,物联网将有更大的发展空间。无线传感器网络(Wireless Sensor Network,WSN)作为物联网的一个重要组成部分,其应用场景不断增多,需求