论文部分内容阅读
随着存储体系规模的增大以及数据访问密集度的增加,集中式元数据管理已经渐渐不能胜任。现今的高性能计算不仅对存储系统的I/O带宽和元数据处理性能提出了很高的需求,而且对存储系统的规模和扩展性也有很高的需求。单一的元数据服务器已经不能满足应用对规模和性能日益增长的需求。采用元数据服务器(MDS)集群是海量存储系统发展的必然趋势。 在PB级分布式存储系统中,元数据虽然很小,但元数据操作占存储系统操作的50%到80%。因此,MDS集群如何高效管理元数据对整个系统的性能和扩展性起到关键作用。提出了一种基于动态区间可扩展的元数据管理策略(Directory Object ID Hashing, DOIDH),它结合了子树分割和哈希方法的优点,可以将同一目录下不同子目录中的文件分布到多个MDS中,并部分保留了同一目录下的存储局部性。它采用文件父目录对象标识符进行哈希,并通过元数据查找表中映射关系分布元数据,当增减元数据服务器节点时通过相应的元数据迁移算法迁移最少的元数据,使得MDS集群中元数据负载分布重新达到均衡。通过测试表明其具有元数据分布均衡,降低系统响应时间,减少了元数据服务器之间元数据迁移及易扩展等特性。 在分布式对象存储系统中,利用对象标识符的全局唯一性、不变性等特点可以使维护对象之间的关系变得更加容易,便于对目录对象和文件对象的查询和定位。研究了对象标识符分配的若干种方法和回收策略,并对各种分配方法优缺点进行分析,进行优化改进。可根据实际应用需要选择合适的对象标识生成策略,灵活方便对象存储系统设计。