随着现代传感器技术和测绘遥感技术的飞速发展,卫星获取的图像的空间、光谱与时间分辨率不断提高,为军事、环境、国土资源以及农业等重要领域提供了关键的数据支持。由于传感器物理特性的限制以及考虑信噪比的原因,空间、光谱与时间分辨率三者存在着不可调和的矛盾,而同时具有高空间、光谱、时间分辨率的遥感图像对许多遥感应用(如城市变化监测)起着不可或缺的作用。因此,遥感图像融合技术应运而生,它根据应用的目的融合来自单个或多个传感器的图像,从而获得所需的高分辨率的遥感图像。针对不同应用对遥感图像的需求,本文基于深度学习理论对遥感图像融合中的空谱融合与时空融合问题分别进行研究。研究主要内容包括:(1)研究深度学习对遥感图像融合问题的可行性。利用深度学习的方法可以充分提取图像的高级特征,对输入图像的特征进行提取并融合,来获得具有高分辨率的遥感图像。在图像的超分辨率重建问题里深度学习方法已得到广泛的应用,而遥感图像的融合同样涉及到空间分辨率的提高,因此研究深度学习在遥感图像融合问题上的应用有一定的意义与价值。(2)研究基于深度学习的遥感图像空谱融合。空谱融合需要协调的是光谱分辨率与空间分辨率之间的矛盾,数据源往往是来自同一传感器的多光谱图像与全色图像。本文构建深度双支卷积神经网络分别提取多光谱图像与全色图像的特征,并整合分别提取的特征进一步学习得到最终的融合图像。本文设置了不同深度的卷积层来提取对应输入图像的特征,充分分析网络深度对最终融合效果的影响。同时也使用了残差结构来让网络学习最有效的特征,从而提高模型的融合能力。(3)研究基于深度学习的遥感图像时空融合。与空谱融合相比,时空融合侧重协调时间分辨率与空间分辨率之间的矛盾,数据源一般是来自不同传感器的图像。这一部分研究的图像来自Landsat-8与Sentinel-2卫星传感器,针对这两种数据进行时空融合的研究成果目前不如Landsat与MODIS丰富,因此本文提出了适用于Landsat-8和Sentinel-2图像的基于深度学习的基本融合框架。传统的时空融合方法往往需要一对或多对来自同一时刻不同传感器的图像对来学习映射过程,而本文研究的方法则能够克服这种限制,充分利用当前可用的图像来融合得到结果,更符合实际的应用场景。