基于MapRedcue的大规模栅格数据空间分析算法并行化研究

来源 :江西理工大学 | 被引量 : 0次 | 上传用户:huoqiyin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着对地观测技术的迅速发展,栅格数据量急剧增加,传统单节点架构的GIS系统已无法满足大规模栅格数据处理和分析的需求,如何在分布式并行环境下提高大规模栅格数据空间分析算法的效率,已成为目前地学领域研究的重点。栅格数据空间分析具有数据量和计算量大的特点,属于典型的数据密集型计算。目前,业界提出了多种并行计算模式,相对于传统的MPI并行编程模型,开源Hadoop框架下的MapReduce并行编程模型更适用于数据密集型计算,同时具有较高的性能。因此本文将并行编程模型MapReduce和栅格数据空间分析典型算法相结合,主要解决大规模栅格数据计算效率低的问题。本文从大规模栅格数据并行的角度,对数据划分、数据并行导入和结果融合进行分析,并在此基础上设计栅格数据空间分析并行化算法。主要做了下面工作:首先,针对大规模栅格数据的特点,提出了Hadoop框架下利用分布式文件系统HDFS构建高效的数据组织模型,并针对栅格处理中邻域型算法的数据边界问题,提出了栅格数据重分块处理机制;其次,针对传统串行数据读取速度慢的问题,设计基于MapRedcue的栅格金字塔并行构建,实现大规模栅格数据的并行导入;然后,结合MapReduce并行编程模型,设计基本地形因子和地形特征提取的并行化算法,以提高大规模栅格数据空间分析的效率;最后,与串行算法做了对比实验,验证了栅格数据空间分析并行化算法的效率。结果表明,基于MapReduce的栅格数据空间分析并行化算法效果较好。同时,随着数据节点和数据量的增加,并行化算法的效率逐步提高。因此,本文设计的基于MapReduce的栅格数据空间分析并行化算法有效提升了大规模栅格数据的计算效率。
其他文献
【目的】分析探讨对比支架取栓结合动脉内溶栓治疗与单纯支架取栓治疗和单纯动脉内溶栓治疗对急性缺血性脑卒中(acute ischemic stroke,AIS)患者的临床疗效及安全性。并通过持续的多模式医疗质量改进干预措施及流程优化研究,提高急性缺血性卒中急症处理的依从率,缩短院内延迟时间。【方法】选取天津市西青医院从2017年5月至2019年12月间收治的118例接受血管内介入治疗的患者。对患者病情
论文第一部分主要研究如下Riemann-Liouville型分数阶积分-微分方程的S渐近ω周期适度解存在唯一性:其中1
随着科学技术的不断发展,各种各样的非线性问题已日益引起人们的广泛关注,非线性分析已成为现代数学中的重要研究方向之一.而非线性泛函分析是非线性分析中的一个重要分支,因
微分方程边值问题正解存在性的研究是研究微分方程的重要内容之一,只有解决了这些问题,才能对数值解和实际应用作进一步的研究.例如,只有我们弄清楚了是否有解以及有多少正解
目的:探讨甲状腺结节在MSCT中的影像学征象,评价MSCT诊断及鉴别诊断甲状腺结节良恶性的价值并与超声对比。方法:1、回顾性分析天津医科大学第四中心临床学院于2014年1月-2017年12月期间收住院并手术治疗的448例甲状腺结节患者的一般资料及影像学资料。CT检查采用Light Speet VCT 64排128层螺旋CT扫描。CT图像由2名较高年资的诊断医师进行分析并行影像学疾病诊断,意见不一致
金属玻璃因其无序结构有利于抵抗离子辐照诱发的损伤,表现出较好的耐辐照性能而成为近年来的研究热点。高电荷态离子具有的辐照速率快、强度高等优势成为模拟材料辐照损伤的
多尺度问题中由于存在不均匀网格,使得矩量法离散积分方程所得阻抗矩阵的条件数很差,迭代收敛很慢甚至不收敛。本文采用SAI预处理器加速多尺度系统的矩阵迭代求解过程。先对SAI
本论文设计了用于诊断低气压CHF3/Ar介质阻挡放电等离子体中CF2基团粒子数密度的光谱测量装置,并分别利用吸收光谱法和发射光谱内标法对CHF3/Ar介质阻挡放电等离子体中CF2基
选区激光熔化成形(Selective Laser Melting,SLM)是一种以粉床铺粉为特征的增材制造技术(Additive Manufacturing,AM),这种新兴的快速成形技术目前已广泛的应用于航空航天、汽车制造、生物医学等领域。然而在SLM成形过程中,激光束只能局部熔融金属粉末逐步形成整体,这一剧烈反应的过程伴随着温度大范围的波动,因而容易使零件产生较大的温度梯度,由此引发的热应力将
本文总结了关于代数、余代数、双代数、Hopf代数已有的概念和性质,并对由一类特殊的Hayashi型R-矩阵生成的代数AR进行了综述.在此基础上,我们从双代数AR本身满足的一些性质和