论文部分内容阅读
遥感技术可以依靠各种传感器探测到地球表面物体的电磁波信息,获取的高分辨率遥感图像能刻画更加精细的地物空间特征与光谱信息,因此被广泛应用于地理科学研究领域。遥感图像的异常检测和变化检测是遥感数据分析的重要技术,在资源调度、环境监测、城市规划和军事目标探查等领域具有重要意义。随着传感器的空间、光谱和时间分辨率不断提高,遥感数据规模也呈现明显增长的态势,在传统的单机处理过程中会出现存储、计算等瓶颈问题,因此迫切需要研究遥感大数据的分析处理技术。云计算平台具有大数据存储能力,支持分布式并行计算,是解决遥感大数据处理问题的有效途径。本文分析了遥感技术发展和遥感数据处理相关技术,研究了Hadoop平台上HDFS存储机制、MapReduce并行编程模型、Spark分布式框架计算原理等相关云计算技术,设计了基于Spark云平台的高分辨率遥感图像异常检测和变化检测分布式并行优化方法。为了进一步提高遥感大数据并行处理的效率,本文以最短完成时间为目标,提出了基于人工蜂群算法的云计算变化检测任务调度策略。1、本文基于Spark云平台设计了高光谱图像异常检测分布式并行优化方法。本文在研究稀疏和低秩表示的高光谱图像异常检测模型基础上,首先设计了基于map-side预聚合的分布式并行k-means算法,利用重分区的方法并行地构造背景字典,然后基于窄依赖RDD对模型进行并行求解,有效减少了shuffle过程带来的时间消耗,显著提高了高光谱图像异常检测算法的计算效率。通过若干组对比实验表明,在检测精度得到保证的前提下,本文提出的分布式并行异常检测方法相对于串行算法有着显著的加速比,能够对大规模的遥感数据进行快速处理。2、设计了高分辨率遥感图像变化检测的分布式并行优化方法。对基于条件随机场模型的高分辨遥感图像变化检测方法进行了深入研究后,设计了基于多RDD关联的多时相高分辨率遥感图像读取方法,合理分析算法步骤,结合Spark内存计算特点,对一元势能和二元势能的构造进行分布式并行处理,并充分利用RDD的缓存机制,减少数据的重复计算,有效地提高算法的运行效率。实验结果表明,在保证变化检测算法精度的前提下,本文提出的分布式并行优化变化检测方法具有良好的加速效果。3、设计了云平台上遥感图像变化检测任务调度方法。首先,对变化检测过程中各个任务之间的依赖关系进行DAG抽象建模,并结合任务节点的开始时间、运行时长等条件,提出计算资源受限情况下最短完成时间的任务调度模型,设计人工蜂群算法进行模型求解,通过合理的计算资源分配和任务执行时间控制,进一步提高了算法的计算效率。