论文部分内容阅读
随着数字图像技术的发展,人们对图像质量的要求越来越高。我们总希望能在最低的代价下得到尽可能多的信息。图像分辨率越高,越清晰,就能带给人们越多的信息。可是由于成像系统受物理硬件设施的限制或保存、传输的需要,常常是以低分辨率的方式采集、保存和传输图像。同时,这些低分辨率图像常常伴有退化变形或者噪声污染。低分辨率图像的视觉效果难以满足人们需要。直接克服各种硬件技术上的瓶颈,需要改善物理硬件设施的配置,这样就使得获取高分辨率图像的代价增大,成本增高。显而易见,通过数字图像的算法分析与处理技术,将低分辨率图像的清晰化或超分辨率化,是一种理想的、方便快捷、低代价的数字图像处理式,具有非常广阔的应用前景。实际上,现有的一些图像超分辨率算法,已经得到了初步的应用,如视屏监控的后期处理等等。其未来在网络、医学图像等方面的应用前景广泛。
本论文系统回顾了超分辨率技术的相关理论和经典算法。目前在超分辨率研究有两个主要的研究方向:多帧图像融合下的超分辨率图像重构和单帧低分辨率图像的超分辨率化。我们详细介绍了在这些研究领域的历史发展、研究现状,以及各种数值算法。
本论文主要研究单幅低分辨率图像的超分辨率清晰化算法。相比于多幅图像融合的超分辨率问题,这一课题的困难性要大的多。与现有比较常用的概率统计方法的基于训练集的选择性构造方法不同的是,我们依据流形学习方法来研究单幅低分辨率图像的超分辨率化,这是一种依据训练集的创建性重构方法。
流形学习也被称为非线性数据降维,是近10年来数据处理方面最为热门的研究方向之一。它通过对高维数据特性的分析研究,挖掘其内在低维结构与局部几何性质来揭示高维数据本质。自从2000年Rowies和Tenenbaum在同期Science上各自发表了流形学习算法LLE和ISOMAP以来,该领域的发展十分迅猛,在之后的两三年间,各种流形学习算法及其应用如同雨后春笋一般,层出不穷。现今流形学习领域除了不断完善自身理论,发展各种新型算法之外,其应用也是渗透到方方面面。实际上许多数据处理的方法中都会有流形学习的思想出现。
本论文的主要成果是:
1.结合流形学习的思想,我们提出了一种新颖的基于学习的单幅图像超分辨率算法——局部仿射图像片段映射算法(LAPM)。我们在流形的框架下,理解来自于训练集图像的片段集:将高分辨率图像的片段集和低分辨率图像的片段集,分别作为两个流形的样本集,即每个片段图像称为相应流形的点。我们依据这两个流形的低维投影及其低维投影之间的仿射联系,学习从低分辨率片段流形到高分辨率片段流形的非线性映射。依据这一非线性映射,我们重构单幅低分辨率输入图像的每个低分辨率片段到高分辨率片段流形的投影,进而重建一个超分辨率图像。这一方法能较好地刻画图像局部信息。在已知低分辨率图像下采样向量a的情况下,能够取得很好的重构效果。
2.我们给出了LAPM算法的重构误差分析,揭示了算法各个节点的误差来源及其对最后重构图像的影响。
3.由上述算法LAPM重构的超分辨率图像,有可能不满足下采样关系式。这是产生重构误差的一个比较大的因素。我们提出了消除这一种误差的重构图像全局修正算法。并从理论上证明了这一全局修正方法可以确保在均方根误差(RMSE)的评价体系下的图像质量改进作用。数值例子也表明全局修正方法也可以改善其它几个误差评价下的图像质量。我们将LAPM算法全局修正方法与现有的超分辨率算法做了大量的数值比较。我们的方法在重构图像的精度改善方面非常明显。
4.我们分析了LAPM的效果也依赖于当如果获得测试图像的下采样向量与训练集中的下采样向量不一致时,会导致重构结果的RMSE增大。于是我们考虑在未知图像下采样向量a的情况下,采用估计组合权重的方式来估计的得到一个与a近似相等或者等价的(?),在(?)的基础上进行LAPM的超分辨率重构以及整体修正。实验发现,这种方式在统计意义上有较好的结果。
5.我们还将流形学习思想与小波变换结合。利用正交小波变换的可逆性,我们通过学习估计小波变换的高频部分系数,用离散小波逆变换来获得重构高分辨率图像。
综上说述,本文从多个方面对基于学习的单幅图像超分辨率算法进行了发展创新,将基于学习的单幅图像超分辨率算法又推进了一步。在可应用性方面,LAPM算法对训练集依赖性较小(测试图像可以和训练图像内容无关),对超分辨率倍数没有限制(理论上可以递进的计算任意放大倍数的超分辨率图像),因此LAPM具有良好的推广性,有着广泛可应用的领域。
文章最后总结了在研究和发展基于学习的单幅图像超分辨率算法中遇到的问题,为将来的研究指明了方向,同时也对该领域的发展趋势进行了展望。