【摘 要】
:
传统主从分布式文件系统在处理海量小文件数据时遇到元数据空间受限、数据节点效率低下、网络资源利用率低等问题。为此,有学者提出小文件聚合存储模型,提高系统对海量小文件
论文部分内容阅读
传统主从分布式文件系统在处理海量小文件数据时遇到元数据空间受限、数据节点效率低下、网络资源利用率低等问题。为此,有学者提出小文件聚合存储模型,提高系统对海量小文件数据的支持能力。但现有小文件聚合存储模型的聚合效果受目录结构影响,不能有效支持任意目录结构的海量小文件数据。论文在现有研究成果的基础上,基于大空间聚合、细粒度管理的思想,提出大空间聚合存储模型。将聚合单位扩展到原始目录结构中的一棵子树,并将该子树上的所有文件和目录一起聚合。同时,以空间元数据簇为单位分布和管理小文件元数据信息,对于过大的空间元数据簇进行动态分裂,从而提高小文件元数据管理效率。此外,基于跳表结构设计了一套松散的元数据组织方式,简化空间元数据簇分裂过程并通过优先标记目录节点的方式优化分裂算法。同时,论文还讨论了分布式元数据管理的一致性问题。在HDFS之上,基于大空间聚合存储模型实现了一套海量小文件系统SMDFS2.0,并通过多级缓存机制、迭代访问模式等机制优化小文件数据读写访问操作。测试表明,大空间聚合存储模型能有效支持不同目录结构的海量小文件数据,相比较于HDFS以及基于聚合空间存储模型的SMDFS1.0,小文件数据读写访问操作性能均有大幅度提升。
其他文献
随着时代的不断发展,教育的重要性逐渐凸显,人们越来越重视教育,新课改的不断深入变革,对教学提出了全新的要求,新课改明确指出在教学过程中,教师应该将学生作为教学的主体,
"互联网+"的蓬勃发展带动网络餐饮市场迅速扩张,然而频频发生的网络餐饮食品安全事件不断刺激大众的敏感神经。文章构建了网络餐饮商家及平台的演化博弈模型,分析发现二者策
改革开放以来,我国公共财政建设取得了显著成果,但仍然存在问题,如政府财政体制改革不到位、税制改革滞后、财政收支及预算管理不规范等等。本文对改革财政体制及制度、进一步发
针对城市道路早晚高峰单向拥堵难题,分别对已建和新建存在潮汐车流的道路进行了分析,对设置潮汐车道的条件进行了论证,并对潮汐车道道路的管理进行了研究。通过论证分析,明确
施桥三线船闸开挖基坑为一级基坑,船闸长度较长,基坑开挖深,土层含水丰富,降水井布设非常关键,是决定基坑开挖成功保证干地施工的重中之重,但又不能盲目加密深井降水,因此通过抽水试
在大力提倡“一带一路”和长江经济带的情况下,地处重要节点的重庆,其货运发展迎来了良机。2011年以来,随着“渝新欧”铁路的正式开通,重庆货运得到了快速的发展。其中,多式
文章根据《人体解剖生理学》课程特点,结合药学院专业教学实际情况,对实验教学内容和方法进行改革探索,增加了虚拟仿真实验及正常人体生理实验。实验教学实践表明,该课程的实
一个冬夜,笔者拜访了正在忙于摄制新片《幸运的人》的北影著名女导演董克娜。谈了些拍片外的话。 问:有人撰文称赞您是“享有女强人声誉”的电影导演,您以为如何? 答:我以为