论文部分内容阅读
随着互联网技术的高速发展,我国地质信息化的不断深入,地质数据的数据量飞速增长,数据种类除了传统的地质报告、图件、表格外,也出现了大量图片和视频等格式的数据。地质大数据是一种时空大数据,它来源于基础地质、矿产地质、工程地质、环境地质、灾害地质的调查、勘查、勘察和相应的地质科学研究过程中与能源、矿产的开发利用和环境、地灾的监测、防治过程中。为了推动地质行业大数据技术的研发和应用,国土资源部,地调调研多个省份,结合需求,在此基础上搭建了地质云平台,并实现了对部分地环数据的简单分析处理。地质云平台架构主要分为三部分:底层,管理层和服务层,分别作为数据存储,数据管理,和web服务等。底层为基础单元,提供了云平台的硬件资源,数据录入存储,以及云桌面;管理层作为数据调度的模块,对底层数据进行管理,以BS模式展示;服务层为用户提供数据与云桌面服务,数据的浏览、下载,OLAP数据联机分析等。主要研究工作如下:(1)研究了VMware以及KVM虚拟化技术,利用现有硬件资源,对服务器进行虚拟化,制作模版,用部分虚拟机作为云桌面提供服务。(2)研究在结构化数据库(Oracle)与非结构化数据库(Hadoop)之间布设大数据连接器,解决结构化与非结构化数据之间的无缝集成。(3)研究并部署Hadoop开源软件,利用HDFS完成非结构化数据的分布式存储;Sqoop,Hive,Mapreduce,共同完成外部数据库数据导入,分布式计算,完成对地质数据的挖掘与分析。(4)研究了OLAP(Online Analytical Prcessing)联机分析处理的思想,从不同的角度对多维数据进行快速的、实时的交互式访问,以部分的地环数据进行应用,获得对数据的全方位的、更加深入的了解。数据爆炸式的增长与信息技术的革新,使得地质发展必然向大数据计算与云技术靠拢,利用好这些技术,以地质的需求对其进行再创造,会使得地质数据应用上升到一个新的高度。