论文部分内容阅读
图像超分辨率重建技术被广泛应用于遥感影像处理、医学成像、视频监控、交通违法监控等多个领域,具备较强的应用价值。对于图像超分辨率重建方法研究问题,发展趋势从基于插值、基于重构、基于学习的算法到近几年基于深度学习理论,基于深度学习超分辨率重建如SRCNN、FSRCNN、VDSR、DRCN等算法,在一定程度上能改善超分重建后图像的质量,但还存在一些不足之处,如卷积层数过少,无法充分学习低分辨率图像与高分辨率图像之间的细节特征。同时,传统卫星遥感影像在融合过程中,大多通过简单的插值法将多光谱影像放大到与全色影像相同的尺寸大小进行融合,融合关注的重点是全色波段的空间细节信息和低分辨率多光谱频谱信息的合并。因此,在插值过程中存在没有充分利用低分辨率的空间信息的情况。本文在前人研究的基础上,针对传统卫星遥感影像融合过程中存在信息丢失的问题和图像超分重建方法的不足之处,改进了基于多尺度卷积神经网络的超分辨率重建方法,在保留频谱信息的同时,增强了低分辨率多光谱影像的空间信息。其次,通过施密特正交变换对空间信息增强的多光谱和全色波段影像进行融合,得到一个具备较高空间分辨率、良好频谱的融合结果。最后通过定性定量质量评价指标对本文提出融合模型与四种经典常规融合算法进行对比,本文方法在主客观质量评价中取得了较好效果。本文主要研究内容如下:(1)综述图像超分辨率重建技术,国内外研究学者对超分辨率重建技术的原理、算法、研究意义进行概述,超分辨率重建技术中包括基于插值、基于重建和基于学习的算法,此外,阐述影像预处理步骤,图像融合的几种常用方法,引入图像质量评价指标对超分重建后图像质量进行评价。(2)结合深度学习中的卷积神经网络模型,卷积神经网络(CNN)结构和算法,介绍了一种将卷积神经网络和超分辨率重建技术结合在一起的卷积神经网络超分辨率重建方法(SRCNN)。其次,提出一种改进的多尺度卷积神经网络超分辨率重建算法,多尺度卷积神经网络能够自主学习高分辨率图像与低分辨率图像内在的逻辑特征。采用Set5、Set14、BSD100、Urban100数据集作为实验数据与测试数据,通过与重建效果较好的Bicubic、SRCNN、SelfEx、VDSR、DRCN方法进行定量和定性比较,客观指标选取峰值信噪比(PSNR)和结构相似度(SSIM)。选用缩放尺度因子为(×2、×3和×4)来验证本文改进方法的可靠性与有效性,实验结果表明本文改进方法性能优于传统重建方法。(3)将改进的多尺度卷积神经网络超分辨率重建方法(MSCNN)与GS融合方法结合组建融合模型。首先,通过改进的多尺度卷积神经网络超分辨率算法对多光谱影像进行超分重建,得到分辨率增强的影像。然后,通过施密特正交变换(GS)将空间信息增强的影像与全色影像进行融合得到一个高空间分辨率、高频谱分辨率的融合结果。同时,对比融合实验采用Brovey变换、Gram-Schmidt变换、NNDiffuse Pan Sharpening、PC Spectral锐化等方法,经主客观质量评价方法对融合结果进行对比,实验结果表明本文方法与GS融合组建的模型融合效果优于四种常用的方法。