【摘 要】
:
随着大数据时代的到来,信息的产生量越来越多,储存数据共享变得越来越迫切。传统的数据中心也逐渐向着云存储中心的角色转变。许多学者开始对储存数据共享进行了深入的研究。
论文部分内容阅读
随着大数据时代的到来,信息的产生量越来越多,储存数据共享变得越来越迫切。传统的数据中心也逐渐向着云存储中心的角色转变。许多学者开始对储存数据共享进行了深入的研究。随着云存储的规模扩大,维护和能耗等多方面的问题也随之而来,使存储这项基础服务更加廉价高效成为研究的热点问题。而现有的数据存储无论是集中式还是分布式都存在着可扩展性差,数据冗余较多等问题,随着云存储的进一步发展这些问题将会日益凸显。本文对目前常用的存储模式进行了深入研究,包括传统的磁盘文件系统、带有中心节点的分布式存储系统以及定制的带有删除功能的存储系统等。这些系统对数据共享服务的支持缺乏或者不够完善,重复数据依然占用了大量的存储空间。针对以上问题本文设计了一个数据共享存储系统,力求解决云存储中数据共享以及文件和块管理等问题。本系统能够在分布式的环境下进行重复数据消除,以构建无中心节点的全分布式系统,使其具有较好的负载均衡和较高的去重效率。为了更加高效地共享重复数据,本文设计了双向滑动窗口分块算法,该算法具有拉宾指纹的高效性和并行计算的优势将数据快速划分成合适的块,文件之间以数据块为单位进行数据共享。而在对文件及数据块的管理时采用了内存哈希映射跟布隆过滤器的方式,以此减小由于数据分块而造成的性能损失。实验结果表明本系统在不影响太多存储系统性能的情况下大大减少了数据存储使用的物理空间,在大约降低了数据存储速度10%的情况下降低了40%的物理存储空间,因此本系统已经具备一定的实用价值。
其他文献
开学在即,很多家长又忙着为孩子采购入学装备,一些商家也趁机拉开促销大幕。媒体调查发现,不少消费者热衷购买进口品牌文具,一支中性笔20多元,一支钢笔数百元,再加上各类电子产品,学
海南位于海上丝绸之路上,海南人很早就参与海外贸易,有些人因贸易的原因“住番”,久而久之成为早期华侨。近代尤其是第二次鸦片战争后,在西方列强开发东南亚和国内生活贫困等
海孔洞揭秘──—中国第一架运输机诞生纪实李兴书在目前所出版的史书中,翻不到旧中国曾造出过飞机的记载。然而,据中共四川省南川县党史办公室搜集的有关资料证明,旧中国确实造
本文客观回顾了实施玉米收储制度改革一年来取得的明显成效,出现了"六大变化",尤其是初步建立起市场形成玉米价格的新机制,开始把玉米"收储"困境引出了"死胡同"。同时,文章深
目的:探讨微创经皮肾镜取石术后发热的影响因素及防治措施。方法:回顾性分析2011年1月~2013年3月128例在我科行微创经皮肾镜取石术的患者的临床资料。分析年龄、性别、术前尿路
在半导体行业里,高质量的氮化镓薄膜是影响蓝光LED发展的核心技术,而影响外延生长氮化镓薄膜的质量的主要因素之一是衬底材料,良好的衬底材料可以有效的减少薄膜生长过程中产
1985年前,我国医用x线工作人员的个人剂量信息十分缺乏,对这类人员进行这一时期的剂量估算是十分重要,但又是非常困难的事。因而,建立一种辐射剂量重建方法是十分必要的。要建立这种方
当前,随着各种各样无线通信技术的涌现,兼含多个通信技术于同一通信系统正成为人们关注的热点。作为其关键器件之一,能够工作于多个频段的滤波器可以有效地滤除噪声或无用信
城乡居民收入差距一直是社会关注的焦点问题。它关系着人民的切身利益,同时也映射着收入分配的结构和状态,是经济发展过程中必然出现的问题。但是若根据它的自我调节能力,按
随着多媒体技术的发展,数字音频在消费电子、网络音频、便携终端等领域得到了广泛应用。三维音频具有接近真实的空间感,可以为人们提供更好的听觉体验。三维音频技术可分为声