基于混合存储的数据保护系统研究

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:fangwd_clily
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据应用的存储系统中,除了关注数据的读写性能外,系统的关键数据还需要采用快照、连续数据保护等数据保护技术来保障数据存储安全,这对存储系统的吞吐性能、容量管理、可靠性等提出了挑战。基于闪存的固态盘(Solid State Disk,SSD)突破了传统机械磁盘(Hard Disk Drive,HDD)的诸多限制,具有速度快、低功耗、防震抗摔等特点,能起到缓解计算机系统性能瓶颈的作用,目前已被各大存储厂商广泛使用。但是,目前固态盘的读写不对称、擦除磨损以及相对高昂的单位价格,使得它还不能完全取代磁盘,因此,在未来的一段时间内仍然是使用磁盘与固态盘构建混合存储的局面。混合存储系统的设计及其优化是存储领域的研究热点,针对负载数据访问的性能要求、连续/随机特征、访问冷热度等问题,在地址映射策略(映射粒度、映射规则)、冷热数据的分类方法、迁移策略以及存储介质用量的最优化组合等技术上取得了大量研究成果。本论文研究基于混合存储系统的数据保护关键技术,对于使用SSD和HDD构建的混合存储系统,结合两种存储介质的优势来优化数据保护系统的性能,如吞吐率、存储效率及能量消耗等,取得了以下创新成果。1)根据数据保护系统的负载特征,结合SSD和HDD的各自优势,提出了一种基于SSD/HDD混合存储的数据保护系统设计方法。该数据保护系统使用SSD作为源数据卷,HDD构成磁盘阵列作为连续数据保护(Continuous Data Protection,CDP)日志和快照卷。系统通过读写分离控制策略,由SSD响应读请求和写请求,HDD磁盘阵列只处理写请求,以写时重定向(Redirect On Write,ROW)方式记录CDP日志,避免源数据卷的数据读写拥塞。生成快照卷时,根据用户需求将ROW CDP日志归并为由增量快照和差量快照混合的层次式快照,提高了数据保护系统的存储效率和恢复效率。实验表明,该混合存储系统充分发挥了SSD的高速读写特性,使读写性能大幅提升,同时磁盘阵列凭借其良好的顺序读写性能,能够提供及时的数据保护与恢复,在读写性能、存储容量以及性价比方面更具优势。2)以TRAP-Array校验日志为代表的CDP历史数据存储方法可有效降低存储空间的开销,但其校验数据未采用RAID保护机制而增加了历史数据丢失的风险。提出了一种基于S-RAID的TRAP-Array连续数据保护系统设计方法,使用S-RAID磁盘阵列存储TRAP-Array连续数据保护系统的TRAP校验日志,既降低了存储空间的需求,又提高了系统的可靠性。对于大多数数据库、联机事务处理(Online Transaction Processing,OLTP)类负载,数据的更新率并不高,S-RAID使用部分磁盘并行即可满足CDP日志记录的带宽需求。研究了基于S-RAID的TRAP-Array连续数据保护系统的系统架构,设计了各模块的功能及其工作方式,提出了相应的数据恢复策略。实验表明,在基于S-RAID的TRAP-Array连续数据保护系统中,CDP日志以TRAP方式存储极大地降低了存储空间开销和能量消耗,同时,S-RAID通过奇偶校验码为TRAP校验数据提供一次冗余,在面临磁盘数据错误时,可以通过数据冗余信息恢复错误数据,防止TRAP校验恢复链被破坏,提高TRAP校验日志的可靠性。此外,通过磁盘调度算法,S-RAID将无数据请求的磁盘分组转入待机状态,降低了TRAP校验日志卷的能量消耗。3)针对现有S-RAID在随机写请求负载下不能有效降低能耗的问题,提出了一种使用双重校验对S-RAID随机读写操作进行优化的EPS-RAID结构。通过在S-RAID中增加一块校验磁盘和一块SSD,采用RS(Reed-Solomon)编码方案生成新校验,以重定向的方式记录待机磁盘组的随机写请求,避免待机磁盘组中的随机读写请求频繁启动处于待机状态的磁盘分组,获得了更大的磁盘空闲时间,有效节约了S-RAID的能量消耗。实验表明,EPS-RAID适用于存储备份、连续数据保护系统等以连续数据存取为主要特征的负载,可以根据负载情况灵活设置每分组包含的磁盘数来满足不同的性能和节能要求。在EXT4,NTFS,NILFS几种文件系统中,EPS-RAID结构都能有效改善S-RAID的写入性能,并降低存储系统的能量消耗,适合需要磁盘分组多、分组规模适中或偏大的应用。
其他文献
学位
学位
随着无线电技术和半导体技术的高速发展,雷达开始逐渐应用于轮船导航和汽车防撞等民用领域。雷达的种类很多,相控阵雷达作为当前雷达系统的主流技术,比传统的机械扫描式雷达更加灵活可靠,可迅速适应外界环境的变化。而K波段属于微波近毫米波频段,分辨率较高,系统体积较小,能在极端的天气条件下工作。因此,K波段相控阵雷达具有很好的民用价值。然而,国内毫米波雷达的关键组件大都由分立器件或者成本相对较高的Ga As芯
学位
学位
学位
卫星通信作为无线通信的主要方式,由于其通信距离远、覆盖面积广、频带宽、稳定性强等特点,被广泛应用于军事和商业领域。随着应用场合的逐渐扩大,卫星通信逐渐向更高频段、更高质量和“动中通”等方向发展。射频收发前端芯片是整个通信系统中一个必不可少的关键部分,其性能指标的好坏将直接影响整个系统的工作情况和应用范围。接收机前端的性能指标主要包括增益、噪声系数、线性度、集成度、功耗等。传统的毫米波接收机前端多以
学位
学位
学位