论文部分内容阅读
随着移动智能终端的迅速普及,用户在移动端产生了大量的地理数据,基于关系数据库的管理方法在管理无限增长的VGI(Volunteered Geographic Information)海量数据方面力有未逮,且无法满足WEB2.0环境下高并发访问的需要。目前的研究在不断增长的VGI数据管理、高并发方面涉及较少。面向新型硬件架构的VGI数据管理、分析和应用方面的研究正成为地学领域的热点之一。VGI数据量增长迅速,如何利用以Hadoop为代表的云平台来简单、高效的管理不断增加的VGI数据是一个亟待研究的课题。本文围绕此课题进行研究,主要研究内容包括以下三个方面：1)基于Hadoop的VGI矢量空间数据组织面向VGI应用环境下对空间数据组织的需求,分析VGI空间数据的数据结构,设计基于Hadoop的VGI数据存储方案,以及对应的矢量空间数据模型。2)基于Hadoop的VGI矢量空间数据管理常见的VGI数据管理方法包括数据压缩方法、多级空间索引机制、性能优化策略和系统可靠性机制等。本文根据VGI矢量空间数据的特点,构建了HilbertR树索引,以及在此基础之上的多级空间索引。在数据压缩方面,使用HBase本身支持的Snappy压缩算法,达到了很好的效果。此外,深入研究了Hadoop的可靠性策略和性能优化策略,并根据实际应用的特点,对相应的配置参数提出建议。3)基于Hadoop的VGI矢量空间数据管理系统设计与实现分析VGI数据管理平台的功能需求,利用开源云存储平台Hadoop,研究VGI矢量空间数据云存储平台的实现方法,包括数据管理模块,增量数据管理模块以及数据查询管理模块,部署基于Linux PC集群的分布式环境,完成基于开源云计算平台Hadoop的VGI矢量空间数据管理的原型系统的开发实现,并使用OSM实例数据进行了验证。综上所述,论文对基于Hadoop进行VGI矢量空间数据的管理方法进行了设计和实现,对所提出的VGI矢量空间数据的多级空间索引方法、数据存储模型等进行了实例验证,研究表明,论文基于Hadoop云平台提出的VGI数据存储模型能够满足主流VGI数据的存储需要,多级空间索引的构建能够满足数据的空间检索需求。