20世纪70年代出现的Internet极大地改变了人们的生活方式,将人类社会推进到了一个信息社会的时代。随着网络和计算机信息化的发展,网络存储成为许多信息存储中心近年的建设重点。福建电信的数据中心希望通过一个统一的数据存储平台为公众和企事业提供网络存储服务,提出了出大规模网络存储的分布式文件系统的需求背景。目前的分布式文件系统已经开展了大量的研究工作,提出了许多的技术和方法。在对这些分布式文件系统技术的最新研究成果进行了系统、全面学习和总结的基础上,认为现有的分布式文件系统在负载平衡,容灾性,以及可扩展性等方面都还不能满足大规模网络存储应用的要求。我们根据分布式文件系统的新需求,结合本课题的应用背景,我们提出了大规模分布式文件系统(LDFS),使用了新的层次型的系统结构代替了传统的集中式的资源管理方式。在系统设计上采用了全局逻辑地址空间,使得本系统适用于公众的网络存储服务; 使用了文件的分片存储,使得在存储结点扩充的条件下仍然保证了良好的读写性能; 将元数据与数据分开存储,可以更好地利用各自的存储设备和传输网络的特性,提高系统的性能,降低系统的成本。为了更好地提高系统的性能,尤其是考虑到公众网络存储在可扩充性等方面的特殊要求,在考察了大部分的分布式文件系统后,我们发现他们在负载平衡、容灾性、可扩充性等方面所作的工作主要集中在存储结点的数据存储方面,但是在元数据服务器的相应研究方面却有明显不足。在数据量增加的情况下,元数据服务器会成为存储瓶颈,对性能有相当的影响。为了满足大规模网络存储对元数据服务的要求,我们提出了使用多个元数据服务器组成元数据服务器群,对外提供一致的元数据服务,并且利用分区散列管理方案对元数据服务器群进行有效的管理。它将元数据的存储空间分成不同的逻辑分区,逻辑分区被分配给各个元数据服务器。根据负载情况给逻辑分区和元数据服务器分配相应的权数。在负载情况变化时,通过函数变换,利用权数参数的变化,将一部分逻辑分区的管理权从负载较重的元数据服务器转移倒负载较轻的元数据服务器上,实现元数据服务器群的负载平衡,而并不涉及元数据的物理移动。其次,我们也提供了元数据服务器群可扩充性、高可用的等方面的实现机制。