基于云平台的高分辨率遥感图像检测并行优化

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:nature_shcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥感技术可以依靠各种传感器探测到地球表面物体的电磁波信息,获取的高分辨率遥感图像能刻画更加精细的地物空间特征与光谱信息,因此被广泛应用于地理科学研究领域。遥感图像的异常检测和变化检测是遥感数据分析的重要技术,在资源调度、环境监测、城市规划和军事目标探查等领域具有重要意义。随着传感器的空间、光谱和时间分辨率不断提高,遥感数据规模也呈现明显增长的态势,在传统的单机处理过程中会出现存储、计算等瓶颈问题,因此迫切需要研究遥感大数据的分析处理技术。云计算平台具有大数据存储能力,支持分布式并行计算,是解决遥感大数据处理问题的有效途径。本文分析了遥感技术发展和遥感数据处理相关技术,研究了Hadoop平台上HDFS存储机制、MapReduce并行编程模型、Spark分布式框架计算原理等相关云计算技术,设计了基于Spark云平台的高分辨率遥感图像异常检测和变化检测分布式并行优化方法。为了进一步提高遥感大数据并行处理的效率,本文以最短完成时间为目标,提出了基于人工蜂群算法的云计算变化检测任务调度策略。1、本文基于Spark云平台设计了高光谱图像异常检测分布式并行优化方法。本文在研究稀疏和低秩表示的高光谱图像异常检测模型基础上,首先设计了基于map-side预聚合的分布式并行k-means算法,利用重分区的方法并行地构造背景字典,然后基于窄依赖RDD对模型进行并行求解,有效减少了shuffle过程带来的时间消耗,显著提高了高光谱图像异常检测算法的计算效率。通过若干组对比实验表明,在检测精度得到保证的前提下,本文提出的分布式并行异常检测方法相对于串行算法有着显著的加速比,能够对大规模的遥感数据进行快速处理。2、设计了高分辨率遥感图像变化检测的分布式并行优化方法。对基于条件随机场模型的高分辨遥感图像变化检测方法进行了深入研究后,设计了基于多RDD关联的多时相高分辨率遥感图像读取方法,合理分析算法步骤,结合Spark内存计算特点,对一元势能和二元势能的构造进行分布式并行处理,并充分利用RDD的缓存机制,减少数据的重复计算,有效地提高算法的运行效率。实验结果表明,在保证变化检测算法精度的前提下,本文提出的分布式并行优化变化检测方法具有良好的加速效果。3、设计了云平台上遥感图像变化检测任务调度方法。首先,对变化检测过程中各个任务之间的依赖关系进行DAG抽象建模,并结合任务节点的开始时间、运行时长等条件,提出计算资源受限情况下最短完成时间的任务调度模型,设计人工蜂群算法进行模型求解,通过合理的计算资源分配和任务执行时间控制,进一步提高了算法的计算效率。
其他文献
提出以信号功率谱熵和频带能量作为组合脑电特征向量,运用时变线性分类算法对左右手运动意识任务分类的方法。C3、C4电极脑电信号8~24Hz功率谱熵和频带能量随时间变化的规律很好地反映了ERD/ERS现象,将两种特征组合用于分类,得到了满意的结果。由于功率谱峰熵和频带能量计算比较简单,稳定性好,识别率高,可在线识别左右手想象运动。
采用统一建模语言UML进行系统建模的过程中 ,模型一致性的建立和维护是正确建模的必要前提。但单靠人工检查的方式来保证模型的正确性 ,不仅给开发人员造成很大负担 ,而且容易出现差错或遗漏。因此 ,在UML可视化建模工具中提供模型一致性自动检测和维护机制至关重要。本文对UML主要模型图之间的关系进行了分析 ,识别出这些图之间的一些基本的一致性规则 ;在此基础上 ,提出了UML可视化建模工具中模型一致性
十九大以来,污染的防治成为全国人民都极为关注的热点问题,其中空气污染问题更是备受瞩目,人们对碧水蓝天的呼声越来越高,目前中国的空气环境在各种措施的推动下已经初步改善。但与此同时,也为之付出了巨大的代价,环境保护与经济发展之间的矛盾日益凸显,如何实现“既要金山银山,又要绿水青山”号召成为一道难题。天津作为京津冀城市群重点污染区域的中心城市之一,具有独特的自然和社会经济特征,天津市的能源消费严重依赖于
畜禽业是南通市农业发展的传统产业,是农村经济跨越发展的朝阳产业,也是促进我市经济社会和谐发展的关键产业,我们要以十六届五中全会精神为指导,加快推进畜禽规模养殖,为把南通建
目的:探讨脑卒中偏瘫患者不同时期(2周、6月、6年)临床指标对远期生活质量影响因素,为提高偏瘫患者生活质量提供临床推荐。方法:对山西省人民医院2013-2014年165例初发脑卒中偏瘫患者进行纵向调查研究,探讨发病后2周、6月、6年三个时间点相关临床指标对患者远期生活质量的影响。所有临床数据均采用SPSS统计软件21.0进行分析、处理,P<0.05即有统计学意义。结果:单因素分析提示:1.脑