三盘容错阵列写性能和可扩展性的优化

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wyingying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在这个信息爆炸的时代,随着用户数据和存储设备需求的大幅增加,磁盘阵列中多块磁盘同时失效的情况频繁发生。其中,三盘容错阵列的高可靠性和低成本使它们受到更多的关注。在大型数据中心里,纠删码是一种以低成本来保护用户数据的有效方法。其中一类纠删码被称为最大距离可分码(MDS编码),它旨在使用最小的存储开销来为存储系统提供最大的数据保护能力。然而,现有三盘容错MDS编码的单写性能较差,基于这些编码的三盘容错阵列在可扩展性方面也有不足。单写性能差,是因为相应编码的计算开销高,编码性能不足。可扩展性具有挑战性,这是因为纠删码的编码布局比较复杂,现有扩展方法在均衡数据分布方面产生了大量的迁移I/O开销。为了解决三盘容错阵列写性能的问题,本论文提出一种扩展的混合编码(简称EHCode)的新型三盘容错MDS编码。EH-Code是针对H-Code编码的一种扩展,它拥有三种不同的校验元素,分别是行校验元素,斜校验元素和反向斜校验元素,可以允许磁盘阵列中任意三块磁盘失效,并且恢复其中数据。我们通过实验来展示EH-Code的优势。实验结果显示,EH-Code具有最优的存储效率和最优的编码计算复杂度。与STAR编码,Triple-Star编码和Cauchy-RS编码相比,EH-Code能分别提升高达16.13%,14.53%和26.27%的单写性能。为了解决三盘容错阵列可扩展性的问题,本论文提出一种均衡的数据重分布方法(简称BDR)。该扩展方法根据一整组条带集来迁移合适的数据元素,用少量的数据迁移保证平衡的数据分布。我们做了一些实验与仿真来验证BDR扩展方法的高效。实验结果表明,和传统RAID阵列扩展方式相比,如Round-Robin(RR)扩展方法,Stripe-based Data Migration Scheme(SDM)扩展方法和RS6扩展方法,BDR方法能减少高达77.45%的迁移I/O数量,分别加快4.17倍,3.31倍和3.88倍的扩展进程。
其他文献
光纤通道(Fibre Channel,FC)是一种高性能的串行传输协议,在航空电子系统和区域存储网络方面得到了广泛的应用。研究光纤通道数据链路层多种速率的技术实现以及容错处理,可以提高光纤通道网络的适用性与稳健性,具有重要的应用价值。本文的主要目标是研究光纤通道数据链路层的技术与模块化设计。基于标准的光纤通道协议规范,对光纤通道数据链路层中的关键技术进行研究,实现了8G/4G/2G速率情况的端口切
量子信息学是一门充满活力的新兴学科,它融合了多个研究领域与方向,让量子力学的研究变得更加丰富多彩。作为量子信息学一个重要的研究方向,量子通信主要是利用量子态的纠缠、相干叠加性等性质通过量子信道或经典信道来完成一定的任务。到目前为止,量子通信是唯一一种被认为绝对安全的通信模式,正是这种得天独厚的优势,让量子通信成为目前最有吸引力的科技领域之一,因此研究量子通信具有非常重要的战略意义以及巨大的应用前景
针对电子封装企业迫切需要提高生产效率,降低生产成本的问题,对复杂多工艺的离散型自动化电子封装生产线,提出了一种基于Flexsim软件进行建模仿真与优化的方法。区别于传统的按生产要素之间的逻辑关系直接对生产线进行建模的方法,采用基于Flexsim软件的“先站点后集成”的建模仿真方法,即先按工艺工序划分站点,其后分别对站点建模,然后再将站点模型组合成生产线模型。针对复杂多工艺离散型生产线“整体串联,局
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种不受光照、气候等因素影响,全天时、全天候工作的传感器装置,在军事、农业、科研等各个领域有着广泛的应用。针对SAR场景的自动目标提取技术能够对图中目标进行准确地定位,在SAR图像解译领域有着重要的研究意义。本文着眼于复杂SAR场景中车辆目标的自动提取问题,从目标检测和目标鉴别两个角度出发,深入地分析了现有算法的不足,并结合
脑机接口(Brain Computer Interface,BCI)是一种不依赖大脑外周神经与肌肉组织的正常输出通路而能够实现大脑和外界进行信息交互的通信控制系统。近年来,BCI在各个领域的应用逐渐增加,随之而来的是对BCI系统的准确性和稳定性的更高要求。本文在充分了解国内外研究现状的基础上,系统研究了基于脑电(Electroencephalogram,EEG)信号的左右手运动想象BCI从离线分析
移动群智感知是以人为中心的感知,主要是利用人或车携带着大量移动传感器的特点在目标区域内收集感知对象的信息,上传到中心,以便监测目标区域的情况,完成大规模的、复杂的社
航空拍摄是获取极地信息的重要方式,但获得的航拍光学图像不能直观反应地形特征。在计算机视觉领域,利用光学图像进行多视图重建是当前研究的热点。这一技术可将二维的平面图像信息转化为直观的三维立体信息,已在远程医疗、虚拟现实等方面得到广泛应用,这也给利用航拍图像实现海冰场景地形的三维重建带来了可能。本文对海冰场景三维重建流程及相关改进策略进行了研究。在分析海冰图像数据特异性的基础上,结合运动恢复结构与多视
我国高等教育学术评价近年来逐步打破“唯论文、唯职称、唯奖项”的传统评价体系并提出建立新型的学术评价体系,与此同时建立起分类分层的新型、高效的高等教育人才评价体系。除“破四唯”外,高等教育人才评价应回归注重教师科研成果质量、科研成果贡献、教学质量等方面,并且围绕这些方面对人才进行学科分类为基础的人才评价。本次研究以广西壮族自治区南宁市几所在人文及社会科学领域教学及研究较有特色的地方高校为例,深入调查
地理教师评价学生的地理学习表现是重要的教学任务之一,教师评价贯穿教学过程的每一个环节,因此,地理教师是否拥有评价理论基础知识和评价技能对高中地理教师专业发展和学生全面发展起着至关重要的作用。本文研究的主要内容是调查昆明市高中地理教师评价素养的现状及不同背景下影响教师评价素养的因素,结合现状、影响因素以及半结构式访谈的结果,分析并归纳云南省昆明市高中地理教师评价素养呈现出的问题,提出有效应对高中地理
学位
随着移动互联网和物联网技术的迅猛发展,无线数据流量与日俱增。高质量、高速率的数据传输需求不仅需要更先进的无线传输技术,也依赖于更多的频谱资源。无线电频谱的低频段资源已经趋于饱和,移动通信系统向毫米波频段拓展频谱资源已经成为发展趋势。60GHz毫米波有其独特的优势:频谱资源丰富、传输速率高、方向性强,抗干扰性能强,所以60GHz毫米波通信系统的研究受到了广泛关注。本文将在现有通信标准的基础之上开展下