论文部分内容阅读
农业科学数据存储是农业科学研究的重要部分。现有农业存储系统在性能、存储容量、数据的可靠性、存储成本等方面存在很大的不足。为了解决农业科学数据的PB级非结构化且形式多样的数据存储难题,本文对农业科学数据文件进行深入分析,并展开对分布式存储技术的研究,提出了基于开源云平台Hadoop的分布式存储系统的解决方案。取得的主要成果如下:1)根据农业科学数据的自身特点与应用需求,本文设计了面向农业科学大数据的分布式存储系统的框架模型。该模型将非结构化的文件数据存入改进的HDFS架构中,将异构、结构化的属性数据存入HBase数据库系统,给出了保证数据文件与数据属性之间的关联性的设计方案,并且在Client端与数据节点端设置缓存,提高了文件的存取效率。2)面对农业科学数据中含有海量小文件的情况,本文给出了基于多属性的海量农业科学小文件合并存储策略。通过将农业科学数据中的小文件按照特定属性进行分类,将属于同一分类的数据合并成一个大的聚合文件,有效的降低了海量小文件对中心节点内存的消耗,提高了文件的存取效率;通过创建并缓存了小文件到聚合文件的索引,改善系统中农业科学数据读取的性能。3)针对农业科学数据文件因季节性强而导致的热点数据问题,提出了动态副本管理策略,包括两个方面的内容:一方面,基于文件访问频率的动态副本添加和删除方法,通过统计文件在固定的时间内访问频率,计算出文件使用的热度,并综合考虑统计周期、文件缓存等因素,动态调整文件副本的数量;另一方面,基于节点状态的副本动态放置方法,通过全面的考虑描述数据节点状态的多个参数,计算每个节点的性能,选择最优的存放节点,以改善系统性能以及文件读取效率。基于上述研究成果,本文设计并实现了面向农业科学大数据的分布式存储系统AGRFS。AGRFS实现了基本功能模块以及用户访问接口,并且搭建了一个Hadoop集群,通过实验来验证了上述策略的可行性以及本系统的可用性。结果表明,本文提出的小文件存储策略以及动态副本管理策略提高了小文件的读写操作效率,优化了系统的性能,同时本文设计的分布存储系统也能很好解决农业科学数据存储问题。