论文部分内容阅读
在当前现代化农业快速发展的环境下,智慧农业产生的海量信息资源对数据的存储和快速检索提出了新的挑战。传统的关系型数据库虽然可以满足复杂多表关联查询等,但在可扩展性和数据处理性能方面已经无法满足海量数据的处理需求。相反,近些年新兴的Nosql数据库在海量数据处理方面具有更好的可扩展性,同时结合分布式的存储系统和并行计算框架,可以很好的解决海量数据的存储与计算。智慧农业是传统农业与物联网相结合的产物,可以对农作物的生长环境进行实时监测,对采集的数据信息进行数据分析,并给出合理的调控方案。本文采用Hadoop分布式系统基础架构,结合hadoop体系下的分布式存储系统HDFS、并行计算框架Mapreduce以及Nosql数据库HBase,提出了一种数据存储与查询的改进方案。设计了更适合农业传感数据的并行计算算法。同时根据对不同产区农业检索的实际业务需求,设计了分区函数,优化对单一产区数据查询的效率。最后,本文搭建实验系统对设计的解决方案进行了性能测试,与伪分布式查询系统和mysql进行性能比较。通过实验数据对比得出,本文所设计的检索系统提供了良好的性能,适合海量数据的存储与查询。