基于网络编码和金字塔码的分布式存储编码研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:linnber
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,每天都有大量的数据产生,如何将大量数据进行有效存储越来越受到关注。和集中式存储相比,分布式存储具有较高的可扩展性、可靠性和存储效率,更能适应大数据的存储需要。在分布式存储系统中常采用冗余存储来保证整个系统的可靠性,冗余策略主要有复制和编码两种方式。纠删码作为传统的编码冗余策略,存在修复带宽太大以及访问效率低的问题。网络编码和金字塔是两种新的编码方案,将网络编码应用到分布式存储中可以解决修复带宽太大的问题;采用金字塔码存储数据,可以提高分布式存储系统的访问效率。  基于网络编码的分布式存储,是将网络编码应用在节点修复的过程中,从而可以有效减小修复带宽。存储量和修复带宽之间存在权衡关系,在这条最优权衡曲线上的码称为再生码。有两类特殊的再生码,称为最小存储再生(MSR)码和最小带宽再生(MBR)码,分别对应有最小的存储量和最小的修复带宽。  金字塔码的主要思想是通过增加额外的冗余来换取访问效率的提高。有两类金字塔码,基本金字塔码和广义金字塔码。其中基本金字塔码是简单的由任意现有的码构造得到的,因此可以直接应用现有的编译码优化方法,而广义金字塔码则是一类从根本上改进的新码。  本文的主要工作包括:在前人工作的基础上,对基本金字塔码在有限域上进行了推广,将现有的基于(2)的基本金字塔码推广到GF(pm)上,从而为分布式存储提供了更灵活的编码方案;实现了用一种确定的MDS码一R S码来构造得到基本金字塔码;对分布式存储中的几种冗余策略进行了比较,具体工作内容如下  1、基于GF(pm)的基本金字塔码的构造、译码和多层扩展的研究。本文研究了在GF(pm)上构造基本金字塔码的方法和与之对应的基本金字塔码的译码过程。本文还研究了如何将两层基本金字塔码扩展到多层。并分别通过例子具体说明了上述的构造、译码和多层扩展过程。  2、关于用一种确定构造的M DS码来生成基本金字塔码的研究。本文选取了一类重要的MDS码一R S码,研究了如何应用R S码来构造基本金字塔码,并用一个具体参数的RS码,完成了对基本金字塔码的构造和译码,对于金字塔码在分布式存储系统中的实际应用具有一定意义。  3、分布式存储中的几种冗余策略的比较。首先,在比特位上比较了GF(2)上的基本金字塔码和本文中推广的GF(pm)上的基本金字塔码的修复能力、平均读开销和平均修复开销。然后,从修复能力和平均读开销方面,比较了 RS码和由它构造得到的基本金字塔码。最后,对复制策略、最大距离可分(MDS)码、两层和三层构造的基本金字塔码进行了比较,并对比较结果进行了分析总结,为分布式存储系统选择编码方案提供了一定的参考。
其他文献
近几年,航空航天技术发展迅猛,各个科研机构逐渐意识到网络交换必将成为航空航天通信技术发展的主流。而航空航天交换机的需求与普通的交换机有诸多不同,所以在设计方法上呈
随着计算机处理能力的提高、数字视频编解码技术的发展以及网络的应用,网络视频监控的应用不再局限于银行、交通、安防等重要部门,在学校、居民生活小区也逐渐开始使用网络视频
本文对无线自组织网络(即Ad Hoc网络)的管理和监测进行了一定的研究和实现。无线自组织网络的特点是网络中的节点既具有一般移动终端的作用,又具有路由器的寻址和转发功能。
多输入多输出(简称为MIMO)技术可以在不牺牲带宽和不增加功率的同时增加系统容量,正交频分复用(简称为OFDM)技术具有抗频率选择性衰落的特点,二者的结合即MIMO-OFDM技术已经成
21世纪的今天,嵌入式系统已经广泛渗透到人们生活的各个方面。在工业、国防、医疗、消费电子以及网络通信等领域都有越来越广泛的应用。Windows CE是微软公司推出的一个功能
低密度校验码(Low-Density Parity-Check,LDPC Codes)最早由Gallager博士在1962年提出。随着计算机仿真水平的提高和现代编码理论的兴起,近年来LDPC码获得了信道编码理论研究
随着计算机网络技术的发展和应用,办公自动化系统从最初的单机应用软件逐渐发展成为现代化的网络办公系统。为了更好的提高校园办公效率,使信息的传递、存储更加安全、方便,
与有线通信中用户间通过相互隔离的点对点链路进行通信不同,无线通信中的用户通过空中接口进行通信,相互之间会产生干扰。近年来随着无线通信的快速发展,用户密度大量增加,如