Pan-sharpening是多光谱遥感图像处理任务中将原始的多光谱(MS)图像和全色(PAN)图像进行融合获得高分辨率多光谱图像的一种方法。论文围绕Pan-sharpening的两个主要目标:光谱信息尽可能不损失、空间分辨率尽可能提高,构建一个端到端的深度卷积网络Pan-sharpening模型:PanNet。PanNet模型由谱保持和空间分辨率提高两个分支所构成。为使光谱信息尽可能不损失,PanNet模型的谱保持分支首先利用插值方法将原始低分辨率多光谱(MS)图像放大为与高分辨率多光谱图像一致,然后将插值后的多光谱图像直接传输到网络输出中,从而将光谱信息直接传输到重建的高分辨率多光谱图像。为了尽可能提高多光谱图像的空间分辨率,PanNet模型的空间分辨率提高分支选择以低分辨率多光谱图像(MS)和全色图像(PAN)的高频作为输入,输出则是由理想高分辨率多光谱图像与低分辨率多光谱图像的差值构成,并通过残差网络(ResNet)训练学习上述输入到输出间的映射。相比于一般的深度学习模型直接训练学习低分辨率多光谱图像到高分辨率多光谱图像的映射,PanNet模型这种高频到高频的映射学习,使得模型可以关注空间分辨率的提高,而不以谱分辨率信息损失为代价。此外,这种高频到高频的映射学习也有助于简化深度学习模型的学习过程。为了进一步提高PanNet模型的性能,论文引入了特征重标定的概念,通过在空间以及特征维度两个方向对PanNet模型的各卷积层学习获得的特征图进行重新标定,使得不同通道的特征图或同一特征图的不同空间位置具有不同的关注权重,从而激励网络学习到更有意义的特征映射。相关模拟和真实数据对比实验发现,论文所提的PanNet模型及其特征重标定改进模型在各类谱保持和空间分辨率提高的主客观评价指标方面均明显优于传统的基于优化以及已有的基于深度学习的模型,取得了当前最优性能。另外,所提模型具有较强的泛化性能,无需模型参数调整,便能够适用于来自不同卫星的多光谱遥感图像。