论文部分内容阅读
随着计算机技术的不断发展和应用,人们对数据存储的需求越来越大,对存储的容量和速度的要求越来越高。传统的存储系统因其物理组成而受到很大的限制,集群存储作为一项已被广泛使用的技术,能够提供按比例增加的服务器或存储资源的性能、容量、可靠性及可用性,突破了单机设备的种种限制。
在存储技术飞速发展的今天,集群存储技术还有着许多急需解决的问题,如随着存储的迅速增长,存储的可扩展性问题,还有存储的安全性,存储的备份和恢复等问题都还没有得到很好的解决方案。
本文研究了当前存储体系结构及相关技术,对网络连接存储、存储区域网络和集群存储文件系统的架构、特点和相应的解决方案作了较详细的分析,在此基础上,开发了protoDFS集群分布式文件系统,初步实现了文件存储、文件同步、文件访问等功能和大容量存储的特性。
本文重点讨论了集群存储的元数据分布查找方式和数据副本分发方法。元数据是最重要的系统数据,元数据的访问性能影响着并行文件系统的性能。如何合理的将系统中的元数据布局到不同的MDS上,从而使得对元数据的请求相对均匀地分散到各个MDS上是元数据分布的目标,本文尝试提出一种提高系统可扩展性和负载均衡性的解决方案。另外,数据副本的分发和访问也是系统容错性、可靠性的重要内容。本文研究了动态副本管理的技术和副本一致性策略并进行了实现。