基于大数据技术的滑坡灾害评估模型的优化及实现

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:zhongkelong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
滑坡,属于一种高发并且带来严重危害的地质灾害,滑坡带来的危害包括巨额的经济损失以及惨痛的人员伤亡,并且影响社会的安定。滑坡灾害在我国分布范围较广,如四川、贵州等地的地质构造复杂多样,是滑坡灾害的高发地区。近几年来,随着人类活动的大规模进行,崩塌滑坡泥石流等地质灾害发生频繁,灾害的预防工作尤为重要。因此,提供更加准确的方法来进行滑坡灾害的防治,已经是非常急迫的任务。当灾害发生时,首要任务是做出正确且快速的应急决策,对于灾害管理工作而言,如何能对地质灾害的发生及发展做出快速而准确的评估工作,是一个亟待解决的问题,所以,研究如何提高地质灾害评估的效率更具有研究价值和现实意义。  本文介绍了研究滑坡的意义、国内外对于滑坡研究的进展和现状以及云平台的相关知识和评估模型的基本理论。选取随机森林模型作为实验模型,选取山西省2000年以来的全省地貌、岩土体、地质构造、地震峰值加速度、坡度、降水量等1:50万基础资料,搭建了Hadoop大数据平台,利用MapReduce并行编程框架,通过此并行计算框架对模型进行并行化设计,并对改进后的模型进行有效性验证等工作,实验得到以下结论:  1.在单节点上对模型改进后的准确性进行验证。并行化改进后的随机森林模型精度相对于传统的串行随机森林模型的精度较高,说明改进后的模型具有一定的可行性与实用性。  2.在Hadoop平台上,在机器数目不同的情况下,进行算法执行时间的比较。当选取的滑坡样本数据的总量不变时,平台机器数目增加,算法执行时间减少,说明模型改进后的运行效率提高。  3.进而又考虑了不同的样本总数,在运行1台、2台、3台机器的情况下实验效果:(1)样本数据规模较小为Data1时,随着服务器数量的增加,算法在运行时间上相差并不大。这是因为在Hadoop平台上进行并行计算时,多台设备间要通信以及数据交换,而这一过程对时间效率的损耗很大,算法效率时有下降。(2)当样本数据规模较大时,将单机情况与1台机器参与运算进行对比发现,这一过程曲线斜率最大,也就是说并行化以后的随机森林模型的运行时间的显著减小,说明模型效率明显提高。(3)通过对比机器数目是1台、2台、3台的情况发现,随着机器数量的增加,改进的随机森林模型运行时间确实逐渐下降,但曲线斜率也逐渐减小,说明机器的数目越多,算法效率越高,但与此同时设备间数据通信耗时也在增加,这也是曲线斜率逐渐变小的原因。(4)当机器数目是2台和3台时,Data2, Data3,Data4样本数据集的算法运行时间相对Data1耗时更少。该现象说明,并行化的随机森林模型更适用于大规模数据,优化效果更显著。  本文基本实现了论文的初衷,即通过对评估模型并行化改进,评估效率与精度有所提高,以实现快速评估的目的,为今后地质灾害提出快速应急决策提供依据。
其他文献
目的探讨社会支持体系对学龄期白血病患儿的情绪状态及其家长的心理健康和生活质量的影响。方法采用前瞻性、病例-对照研究方法,通过心理调查问卷分析,分别调查白血病、非恶
2008年5月12日14时28分,四川省汶川县映秀镇发生8.0级大地震,地震导致全省12个县严重受损,其中北川羌族自治县是遭受地震灾害损失特别严重的县之一。大地震之后的次生滑坡、泥石流、崩塌等地质灾害给全县造成了重大损失,乃至对全省构成安全隐患。同年9月24日北川县遭遇多年不遇暴雨袭击,在强暴雨作用下,该区域河水暴涨,淹没了大片农田、板房安置区,冲毁公路、桥梁,诱发了区域性泥石流灾害。引发地质灾害
作为在现代工程中应用十分广泛的钢索,在使用过程中会发生疲劳、磨损甚至断裂等现象,从而导致工程事故。为确保钢索安全、可靠、高效地工作,使用科学合理的钢索试验装置,对钢索的运行状况,如断丝、磨损、抗冲击、承载能力、安全系数等进行检测具有重要意义和实际价值。针对新课题的目标要求,在已有钢索试验装置基础上,进行技术和结构改进研究,研制出新一代的钢索试验装置。首先,介绍分析了已有装置结构,提出了改进技术方案
新建东都至平邑铁路工程DK1+360—DK3+522段经沈村煤矿矿区属于采空区处理整治范围,全长2.16km。本文针对东都-平邑线铁路采空区稳定性及施工工艺研究,通过理论分析、数值模
大地电磁测深法(MT)是一种利用天然交变电磁场研究地球电性结构的勘探方法,其理论基础是岩石的电性差异。目前阶段大地电磁测深的观测资料可以提供多达20几种参数用于地质解
人体是一个极其复杂的系统,由于个体间的差异性、多样性以及活体实验的局限性,使得开展人体生物特性的研究工作十分困难。本文在建立人体脊柱胸腰部“骨—肌”三维几何模型和力
以陕西省韩城地区构造煤为研究对象,利用前人总结的地质原始资料和宏观肉眼观察,定性描述韩城地区构造煤的煤岩煤质特征。采用扫描电子显微镜(SEM)、压汞实验(MIP)、低温氮吸
5·12汶川特大地震,在灾区形成了大量堰塞湖,对于这些形成于主河道上的堰塞湖,其危害在于淹没上游的道路、村庄、城镇和农田等,堰塞湖溃决又将引发洪水,淹没冲毁下游的城镇、村庄和道路、通讯等基础设施。而对于分布于支沟内更多小规模的堰塞湖,虽不会像主河道上的堰塞湖那样造成大范围灾害,但仍会引发大规模泥石流,给其危险区内的道路、村庄和城镇等造成严重危害。这种沟道内堰塞体溃决形成的泥石流由于成灾快和规模大等