论文部分内容阅读
在计算机视觉领域,图像超分辨率重建一直是一个研究热点,具有广泛的应用前景和运用价值。它主要关注在硬件设备性能受限的情况下,利用所获取的单幅或者多幅图像,尽可能地提高图像分辨率,最大限度地恢复图像的细节特征,以满足用户对图像的视觉要求。基于学习的图像超分辨率重建算法是当前最流行的超分辨率重建算法,该类算法通过对训练库中的图像进行学习,得到高分辨率和低分辨率图像之间的非线性的映射关系,从而预测得到低分辨率图像中丢失的大量高频信息。当前基于学习的超分辨率重建方法还有较大的提升空间。深度学习是新兴的机器学习算法,相对于其他的机器学习方法,其优势有:1)处理数据的能力强,在文字、语音等方面的识别结果显示,基于深度学习的方法能大幅提高文字和语音的识别性能;2)能处理大规模的训练数据,是处理大数据的有效工具。受此启发,本文将深度学习算法引入到超分辨率重建问题中,旨在通过设计基于深度学习的模型算法,提高超分辨率图像的质量。本文主要研究内容和创新点如下:1.对图像梯度与图像纹理的关系作了详细介绍,分析了卷积神经网络的卷积核与梯度算子之间的关系和卷积神经网络对图像特征提取的原理,从而说明卷积神经网络在图像超分辨率重建中的优越性。2.提出一个基于多个特征图输入的四层卷积网络重建模型。对一个超分辨率重建网络模型来说,能否提取到图像的细节特征直接关系到整个重建网络的好坏,而网络对图像细节特征的提取与网络各层参数的设置关系密切;本文在网络训练的过程中,通过不断调整网络各层卷积层的参数,最终得到一个比较满意的参数集合。实验证明,此模型对图像的重建能取得较好的效果,特别是对单帧图像的重建效果较好,对图像的边缘和细节特征恢复效果也不错。3.为了更进一步提高图像的超分辨率重建能力,基于多个特征图输入的四层网络重建模型,本文改进了网络中的重建层,通过融合重建层前面的每个卷积层的输出的特征图作为重建层的输入,最大程度地获取了图像的特征,更有利于图像的重建。4.为了研究分别使用特征单一和特征复杂的图像集来对同一种网络模型进行训练得到的模型对图像的重建有何异同和其泛化能力如何等问题,通过使用背景单一的人脸图像对网络进行训练得到模型,并与其它复杂图像库训练得到的模型进行不同的图像重建对比,实验结果表明,专门对人脸图像训练的网络对人脸重建效果较好,但对特征和背景缤纷的自然图像的重建效果一般,泛化能力较差。