论文部分内容阅读
图像超分辨率(Image Super-resolution)致力于将给定的低分辨率图像(Lowresolution Image,LR)转化为对应的高分辨率图像(High-resolution Image,HR)。基于卷积神经网络的超分辨方法由于具有良好的视觉效果目前受到广泛关注,这些方法大多假设LR图像由HR图像通过双三次插值(Bicubic Interpolation)降采样得到。当真实LR退化过程不符合假设时,模型超分辨率效果会出现明显下降。Zhang提出的SRMD通过对退化关键因素进行建模,实现了使用单一模型处理多退化的超分辨任务。然而SRMD假设LR图像退化参数已知,导致模型难以直接应用于盲超分辨。而且模型的网络结构较为简单,训练数据仍然缺少真实LR与HR图像对。为此,本文提出循环模糊核校正网络(Iterative Kernel Correction,IKC),通过估计网络对LR图像退化信息中对超分辨效果影响较大的模糊核进行估计,并通过循环方式进行调整以减小估计误差,从而得到较为准确的退化模糊核。同时本文提出了处理多退化图像的空间特征变换网络(Spatial Feature Transform Network For Multiple Degradations,SFTMD),通过在网络中使用空间特征变换层(Spatial Feature Transform,SFT),模型更好的利用退化模糊核对LR图像进行超分辨。通过结合IKC与SFTMD,模型在多退化的盲超分辨任务中取得了较好的效果。然而退化模型无法涵盖真实场景中全部的复杂退化,真实的LR、HR图像对能够进一步提升超分辨模型的性能。因此本文通过单反相机光学变焦拍摄了真实的LR、HR数据对,得到了真实超分辨数据集(Real Super-resolution Dataset,RSR)。本文在RSR上对主流的先进超分辨算法进行了训练,并在RSR测试集上进行了测试。结果表明RSR训练模型在真实图像超分辨任务上有良好的效果。RSR中相机采集的原始图像纹理较为稀疏,退化效果严重,主流算法使用的网络结构难以处理。为此本文提出沙漏超分辨网络(Hourglass Super-resolution Network,HGSR),HGSR通过沙漏模块增加网络的感受野,通过中间监督对网络的学习过程进行辅助增强。实验证明HGSR在RSR测试集上有良好的超分辨率效果。