可扩展的元数据管理及对象标识符研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lessy123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着存储体系规模的增大以及数据访问密集度的增加,集中式元数据管理已经渐渐不能胜任。现今的高性能计算不仅对存储系统的I/O带宽和元数据处理性能提出了很高的需求,而且对存储系统的规模和扩展性也有很高的需求。单一的元数据服务器已经不能满足应用对规模和性能日益增长的需求。采用元数据服务器(MDS)集群是海量存储系统发展的必然趋势。  在PB级分布式存储系统中,元数据虽然很小,但元数据操作占存储系统操作的50%到80%。因此,MDS集群如何高效管理元数据对整个系统的性能和扩展性起到关键作用。提出了一种基于动态区间可扩展的元数据管理策略(Directory Object ID Hashing, DOIDH),它结合了子树分割和哈希方法的优点,可以将同一目录下不同子目录中的文件分布到多个MDS中,并部分保留了同一目录下的存储局部性。它采用文件父目录对象标识符进行哈希,并通过元数据查找表中映射关系分布元数据,当增减元数据服务器节点时通过相应的元数据迁移算法迁移最少的元数据,使得MDS集群中元数据负载分布重新达到均衡。通过测试表明其具有元数据分布均衡,降低系统响应时间,减少了元数据服务器之间元数据迁移及易扩展等特性。  在分布式对象存储系统中,利用对象标识符的全局唯一性、不变性等特点可以使维护对象之间的关系变得更加容易,便于对目录对象和文件对象的查询和定位。研究了对象标识符分配的若干种方法和回收策略,并对各种分配方法优缺点进行分析,进行优化改进。可根据实际应用需要选择合适的对象标识生成策略,灵活方便对象存储系统设计。
其他文献
海洋平台作为海上石油开采和相关工作人员生产生活的场所,对开采作业顺利进行,确保工作人员的人身安全起着关键作用。海洋平台是大型的海洋工程结构,所处的环境极其复杂,对海
物流产业是现代社会化大生产和专业化分工不断加深的产物,随着我国经济的增长和服务业的快速发展,物流行业不仅影响着社会的发展和人民生活水平的提高,而且也是衡量一个国家现代
统计分析软件用于对已有业务数据的分析,可以发现数据中隐藏的内在联系和潜在规律,可以有效支持各个行业的业务分析,给予决策者以有效的帮助。一般的统计软件把数据存储、数
数据网格提供了一个高性能、大容量、高速传输的并行分布式广域计算平台,解决了分布异构的广域网环境下大规模海量数据的一体化存储和管理问题。为了有效降低数据访问延迟、
图像匹配算法的目标是寻找图像之间的同质区域,进而根据同质区域的映射,建立图像之间的空间对应关系。图像匹配是计算机视觉领域中的一个关键问题,也是三维重建、目标跟踪、目标
网络业务的快速增长对互联网服务质量提出更高的要求,而作为业务交换节点成为制约网络性能的“瓶颈”。由于互联网络复杂的动态特性可以通过网络所承载的流量来反映,同时网络
彩铃业务是一项由被叫(或主叫)用户定制,为主叫用户提供一段悦耳的音乐或一句问候语来替代普通回铃音的业务。用户申请开通彩铃业务之后,可以自行设定个性化回铃音,在其做被
随着数字化技术和网络技术的飞速发展,数字化信息可以以不同的形式在网络上方便、快捷地传输。由于图像、视频、音频等多媒体信息都能以数字形式获得,制作其拷贝非常容易。从