论文部分内容阅读
获取清晰的高分辨率图像是大多数成像系统的目标,高分辨率的图像有着很高的应用价值。然而在图像采集过程中,受到传感器阵列排列密度的限制,图像的分辨率不可能很高;同时根据奈奎斯特-香农采样定理,下采样效应会造成图像的频域混叠效应,使获取的图像由于频域混叠效应而降质。另一方面,由于大气的不同的状况的扰动、拍摄景物与成像设备之间的相对运动、成像系统噪声等,也使成像产生模糊,并降低了图像的分辨率和成像质量。提高图像空间分辨率的物理途径一般可以通过提升传感器制造技术、增大相机光学系统的焦距和孔径等办法,但是这些方法受到加工和制造成本的制约。因此从信号处理和计算机视觉的角度,使用超分辨率重建技术来提高图像分辨率有着极大地现实意义和应用价值。超分辨率重建的目标是从低分辨率输入图像来重建一幅高分辨率图像。经过多年的发展,现有超分辨率算法取得较好的重建结果,但该技术仍有很多问题有待解决。例如,目前的机器学习超分辨率算法,通常是按照图像块为单位进行超分辨率重建,并不能保证重建的高分辨率图像符合图像的全局统计特性;同时自然图像内部含有大量的冗余信息,而这样一个统计特性并没有被目前的单幅图像超分辨率方法很好的利用;此外目前的超分辨率重建技术对于频域混叠效应不能够很好的处理。基于上述问题,本文根据图像信号的统计特性,围绕全局和局部约束结合、挖掘图像内部冗余信息以及去除频域混叠效应等问题展开讨论。目前基于机器学习的超分辨率方法是一个研究的热点。在这种方法中,高频的细节分量通过块匹配的方法从训练图像库中直接提取或者融合。但是由于图像块一般都比较小,内容表示能力有限,很难保证重建的高分辨率图像符合自然图像的全局统计特性。针对这个问题,我们在本文提出了一种带有全局和局部约束的基于机器学习的超分辨率方法。详细来讲,我们在最大后验概率估计中引入一个混合模型,它包含了一个全局的参数约束和一个局部的基于图像块的非参数约束。全局参数约束保证了重建的全局图像与自然图像的带有稀疏性质的全局统计特性相符,而局部基于图像块的非参数约束用来推断全局图像与真实高分辨率图像之间的残差图像。实验结果表明,相对于传统的机器学习方法,我们的方法不仅能够保持图像的整体结构,而且能够更加有效地恢复图像的细节,实验结果中的客观衡量标准和主观视觉质量的对比也验证了我们的算法的有效性。图像内插的主要目的是从低分辨率图像中获取高分辨率图像。对于低分辨率图像中由于下采样造成的频域混叠效应,通常的内插方法并不能很好的克服,往往会产生过拟合的噪声。在本文中,基于自然图像中含有大量相似的纹理这样一个图像信号的统计特性,我们提出了一种图像块自组织的内插方法。我们首先对下采样区域进行初始内插,然后将预插值高分辨率图像块分成一个低分辨率图像块和一系列下采样预插值图像块。对于每个下采样预插值图像块,我们从低分辨率图像中查找一系列纹理相似的备选图像块。马尔可夫链模型被用来对低分辨率图像块和下采样图像块的备选图像块之间的关系进行建模,置信度传播算法被用来进行最优备选块的选取,它们被用来重建高分辨率图像。在马尔可夫链模型中,我们将备选块与初始下采样块之间的一致性、相邻的下采样块之间重叠部分的一致性和用专家场模型学习的图像先验知识作为势函数,来对初始下采样块和备选下采样块之间的关系进行建模。实验结果验证了我们的算法能够有效地减轻频域混叠效应和避免过拟合效应。在图像内插的同时去除频域混叠效应一直是一个非常有挑战性的课题。我们曾经提出了一种使用图像块自组织的内插方法,对于去除频域混叠效应有一定的作用。但是图像块大小的选择是固定的,不能最大限度的利用图像内含有大量冗余信息这样一个统计特性,并发挥块匹配的优势。在本文中,为了更进一步去除频域混叠效应,并在纹理细节区域避免过拟合,我们提出了一种迭代的多尺度的半局部内插方法。这个方法通过使用一系列相似的图像块中心位置的低分辨率图像像素来估计丢失的像素值,其中图像块的大小随着迭代次数的增长从大到小依次减小。在开始迭代的几步,使用大的图像块尺度,可以有效地减小低分辨率图像中的频域混叠效应对寻找相似块时的影响,大大增加了真实相似块找到的可能性。随后,在后面的迭代步骤里,逐渐减小图像块尺度,这样不仅可以滤除由大尺度图像块匹配带来的在纹理细致区域的误差,而且还能够在纹理细致区域避免过拟合。在每次迭代中,我们使用最大后验概率估计得出本次迭代重建的高分辨率图像,其中所找到的纹理相似的低分辨率图像像素用来构建数据似然项,而双边总变差用来作为约束项。实验结果表明这个算法能够有效地去除频率混叠效应,同时我们的方法所恢复的高分辨率图像在主观视觉效果和客观衡量标准方面都优于已有的内插方法。