基于对象分布式文件系统的存储缓存研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:dhlwcg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,当今社会的数据信息量呈指数增长,很多存储平台的量级都上升为PB级别。作为海量数据存储系统在用户层上普遍使用的管理平台一分布式文件系统已经日渐成熟,其可以以透明方式连接共享文件夹和文件服务器,将不同位置的文件数据映射到单一的逻辑层次,以达到用户访问和管理的便捷性,它的高效性、通用性、可靠性、扩展性也一直都是人们研究的热点。一方面,基于对象分布式文件系统在海量存储时表现出了更好的性能,越来越受到广泛关注。但由于其文件服务器集群的客观网络环境有所不同,基于对象分布式文件系统在异构存储环境下针对用户访问特征中的热点文件没有缓存,影响了其整体系统的性能。所以在存储领域中分布式文件系统在高效性上的研究是非常必要的。另一方面,网络缓存技术是提高一个系统高效性的有效手段之一。它通过使用具有高效传输性能的设备或者存储组件来缓存数据对象来提高系统的整体效率。因此,研究基于对象分布式文件系统的网络缓存技术有着重大的意义。本文在阅读国内外的相关文献基础上,研究了基于对象分布式文件系统和网络缓存的各个关键技术,针对当前基于对象分布式文件系统在异构存储环境中对高频访问热点文件无缓存机制的不足,设计并实现了一个基于对象分布式文件系统的存储缓存系统,本文的主要工作总结如下:(1)研究了国内外的相关数据存储系统,并根据现有的基于对象分布式文件系统,提出了其在异构存储环境下出现的问题,确定了研究的方向,设计了基于对象分布式文件系统的存储缓存模型。该模型改善了传统的基于对象文件系统的数据访问模式,并根据该存储缓存的整体架构模型设计了存储缓存的操作协议,协调客户端、元数据服务器和存储集群之间的通信及传输。(2)以基于对象分布式文件系统的存储缓存模型和缓存操作协议为基础开发实现了基于对象分布式文件系统的存储缓存系统(Server-side Cache Scheme for Object-Based Distributed Storage System,以下简称OBSC)。OBSC改进了元数据服务器和存储集群,使之能对热点文件进行缓存处理。(3)根据该基于对象分布式文件系统的存储缓存模型,具体研究了传统的缓存置换策略的优劣及其中的缓存准入性问题的分析,结合基于对象分布式文件系统的特点和数据部署方式提出了一个基于访问频率的热点置换策略,使两者能够完美兼容运行,并提高整体系统文件I/0速率。(4)根据以上研究,本文给出了基于对象分布式文件系统的存储缓存的总体设计与实现。并分别进行了系统性能测试和系统开销测试并且用实验结果充分证明了系统的可行性、高效性。
其他文献
三维建模与变形技术在模具生产、动画制作、地球科学、物理科学等领域越来越受到关注。众多学者将草绘作为三维几何建模和变形的首选交互工具,他们设计了多种算法和系统。 
软件是充满错误的,而修复错误最重要的前提,就是如何快速地定位错误,这往往也是在软件开发周期里花费人力物力最多的一步。因而任何可以降低错误定位代价的技术都是非常有吸
在高校中,现代信息技术综合应用的重要领域之一就是基于WEB的教学管理系统,这种系统也是实现教育管理信息化的丰要方式。随着教育事业的改革不断深化,面对更多更快的要求,教
随着互联网产业的快速发展,主题模型作为近些年来在文本挖掘中出现的一种概率模型逐渐成为了国内外的研究热点,其应用几乎覆盖了文本挖掘和信息处理的所有领域。   短文本可
XML数据由于其开放性、通用性、半结构化等特性,已经成为互联网上数据表示和交换的标准。随着XML应用的不断扩展,大量数据源产生出千差万别的XML文档,它们所遵循的文档模式(DTD
随着计算机软件、硬件和通信等技术的不断发展,形成了一种新的“以人为中心”的计算模型——云计算。在云计算环境中,人们通过多种方式普适地获得云服务,这需要云中心提供相
近年来,随着计算机图形技术的高速发展和信息量的快速膨胀,人们对高分辨率、高亮度显示系统的需求越来越迫切。由于传统的显示设备不能满足分辨率需求,高性能显示设备又太昂
从图像数据中提取出的高维特征给构建高效的图像索引带来了很大的困难。通过语义哈希索引思想来构建图像索引是一种有效的解决方案。但是传统基于语义哈希索引思想的索引算法
随着互联网的飞速发展,互联网业务日趋多样化,传统的网络体系结构无法适应的互联网业务需求,改造升级网络体系架构刻不容缓。但是,由于互联网服务提供商间的利益竞争关系,互联网的
随着计算机技术的日益成熟,各种结构复杂、功能强大的计算机系统被广泛应用到航空航天、交通运输、医疗卫生和核电能源等安全关键领域。一旦这些系统失效,将造成人类生命财产的