基于piggybacking框架的分布式存储编码研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:daoshi100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网、5 G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。为了解决大数据存储中存储节点失效的问题,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。Piggybacking编码作为分布式存储编码中的一类,以其优异的节点修复性能和较高的存储效率,再加上其复杂度低,设计灵活等特点,最近几年受到了越来越多的关注。本论文主要面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。首先,本论文对传统的数据存储容错,即多副本机制和MDS码进行了概述。接着介绍了三种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和piggybacking编码的基本原理、发展现状以及它们各自的优缺点,为后续深入地研究打好基础。其次,本论文针对一种用于修复校验节点的piggybacking框架提出了两种改进。在保持编译码复杂度基本不变的前提下,第一种针对修复校验节点的改进使得信息节点和校验节点的修复带宽均有不同程度地降低,且改进后piggybacking框架的设计更加灵活多变。第二种针对信息节点修复的改进,通过牺牲校验节点很小部分的修复带宽来换取节点数更多的信息节点的修复带宽是有意义的。再次,本论文先对广义piggybacking编码进行了深入研究,指出了其校验节点修复存在的部分问题。更重要的是,本文基于广义piggybacking编码框架首次提出了piggybacking编码的多节点修复策略。经分析得到了诸如修复节点数、保护列比例、设计列比例、信息节点数以及校验节点数等因素对多节点的最小平均修复带宽比率产生的影响。这对设计出多节点修复性能优良的piggybacking编码具有一定的参考价值。最后,本论文提出了一个全新的双层piggybacking框架(D-PB-1),通过最优化预留子条带比例((6)和捎带子条带比例(7)同时有效地修复了信息节点和校验节点,大大降低了修复带宽。经分析,当信息节点数6和校验节点数趋于无穷大时,所有节点的平均修复带宽比率无限接近于0。其次,本文又提出了改进的双层piggybacking框架(D-PB-2),通过改变修复信息节点的piggyback块的构造方式进一步降低了修复带宽。与其它piggybacking编码相比,这两类双层piggybacking编码不仅结构设计灵活,还拥有最佳的综合修复能力,尤其以D-PB-2表现最佳。接着本文还给出了双层piggybacking框架多例嵌套的模型,在保证修复性能不变的前提下,降低了piggybacking框架中的子条带数。最后,本文通过分析一种针对MDS码校验节点的构造方式,联系到改进的双层piggybacking编码的一种极端情况,揭示了它们修复本质相同的事实。另外,本文据此在理论上还给出了基本piggybacking框架节点修复下限的猜想。
其他文献
互联网信息技术的发展,推动了数据化和智能化的劳动形式新格局的形成。非物质劳动和数字劳动在人们的工作生活中占据着越来越重要的地位,这也引发了理论界对这些新兴劳动的持续关注与讨论。本文在充分吸收已有研究成果的基础上,梳理马克思劳动理论的渊源和内涵,结合意大利自治主义学派的非物质劳动理论和福克斯的数字劳动理论,总结现有的数字劳动分析,探究数字劳动的物质性与非物质性、生产性与非生产性,揭示其剥削和异化的本
近二十年来,是现代空间大地测量技术飞速发展的时期,新型技术的应用和进步,也使人们对科研成果的质量和精度提出新的要求。国际地球参考框架(ITRF)是空间大地测量技术发挥作
悬浮在大气环境中的各种颗粒以及小水滴形成的雾气会吸收、散射和折射光线,从而导致出现视野模糊,能见度恶化,拍摄的图像清晰度不高和色调偏移等现象。随着雾霾日益严重,图像去雾的研究在图像处理技术中越来越重要。降低或消除图像中雾气对场景的影响,实现有雾图像的清晰化,是近年来国内外的研究热点。然而现有的去雾算法在图像去雾方面仍然存在着细节信息丢失、大气光强值估计偏低、天空区域去雾效果不佳及自适应去雾效果较差
由于封装或PCB电感遇到了缩放不均衡问题,片上电感受到越来越多的研究人员关注,其具有更紧凑的结构和更小的寄生效应。传统的片上平面螺旋电感一般位于顶层金属层,消耗了大量
太赫兹(Terahertz,THz)波一般是指频率在0.1~10THz范围内的电磁辐射,其波段介于毫米波和红外线之间。由于THz波在电磁波谱中位置的特殊性,使其在安全监测,医学成像,传感检测和
随着中小学体育课程改革的不断深化,教育主管部门对学校体育教育工作有了更高的要求,在重视学生主体地位的同时,也不断对体育教师自身综合素质提出了更多的要求。体育教师具
在明清大背景下,大批传教士因欧洲宗教改革而认识中国,纷纷前往中国传教。这一举动不仅促进了中西文化的交流,而且兴起了传教士汉语学习的高潮。对比同时期的传教士,艾儒略是
近年来,我国开始实施经济发展路径战略调整策略,经济增速放缓,经济发展方式进入稳增长、调结构、转方式和防风险状态。其中,在调整产业结构方面,统一调整产业结构,促进各部门协调统一、可持续发展是调结构的侧重点。随着部门产业间合作更加广泛,流通更加自由,我国产业部门间网络由链式结构发展成为网状结构。因此,基于复杂网络的理论分析产业结构的优化问题更能体现出优化方案的协调统一性和可持续性。本文运用复杂网络理论
班会是定期举行的班级成员会议,每个班级都应该定期组织班会活动.当前小学生的学习节奏增快,为了保证学生们的学习时间不受影响,小学教师可以组织"微型班会".与传统的班会相
家事审判是指专门审理涉及婚姻家庭领域中各类纠纷的审判活动。当前,我国家事案件数量基数庞大且持续增长,类型呈现多样化趋势,且日趋于复杂。家事案件具有浓厚的人伦、情感