地质云平台及地质大数据的联机分析处理

来源 :第十五届全国数学地质与地学信息学术研讨会 | 被引量 : 0次 | 上传用户:zhengjunzhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的高速发展,我国地质信息化的不断深入,地质数据的数据量飞速增长,数据种类除了传统的地质报告、图件、表格外,也出现了大量图片和视频等格式的数据。地质大数据是一种时空大数据,它来源于基础地质、矿产地质、工程地质、环境地质、灾害地质的调查、勘查、勘察和相应的地质科学研究过程中与能源、矿产的开发利用和环境、地灾的监测、防治过程中。为了推动地质行业大数据技术的研发和应用,国土资源部,地调调研多个省份,结合需求,在此基础上搭建了地质云平台,并实现了对部分地环数据的简单分析处理。地质云平台架构主要分为三部分:底层,管理层和服务层,分别作为数据存储,数据管理,和web服务等。底层为基础单元,提供了云平台的硬件资源,数据录入存储,以及云桌面;管理层作为数据调度的模块,对底层数据进行管理,以BS模式展示;服务层为用户提供数据与云桌面服务,数据的浏览、下载,OLAP数据联机分析等。主要研究工作如下:(1)研究了VMware以及KVM虚拟化技术,利用现有硬件资源,对服务器进行虚拟化,制作模版,用部分虚拟机作为云桌面提供服务。(2)研究在结构化数据库(Oracle)与非结构化数据库(Hadoop)之间布设大数据连接器,解决结构化与非结构化数据之间的无缝集成。(3)研究并部署Hadoop开源软件,利用HDFS完成非结构化数据的分布式存储;Sqoop,Hive,Mapreduce,共同完成外部数据库数据导入,分布式计算,完成对地质数据的挖掘与分析。(4)研究了OLAP(Online Analytical Prcessing)联机分析处理的思想,从不同的角度对多维数据进行快速的、实时的交互式访问,以部分的地环数据进行应用,获得对数据的全方位的、更加深入的了解。数据爆炸式的增长与信息技术的革新,使得地质发展必然向大数据计算与云技术靠拢,利用好这些技术,以地质的需求对其进行再创造,会使得地质数据应用上升到一个新的高度。
其他文献
目前,一谈到云平台、或者谈到大数据平台,能容易将云平台与大数据对立起来,其实,云平台(云计算)与大数据的关系是静与动的关系,云计算强调的计算,而大数据则是计算的对象。大
会议