论文部分内容阅读
随着现代社会的快速发展,特别是智能手机等便携式移动成像设备的普及,图像已经成为人们获取信息、对外交流的重要途径。然而成像过程从来都不是完美的,测量过程中存在不确定性,表现为模糊、噪声和记录图像中的其他退化因素。图像去模糊是从一个模糊观测图像中重构出潜在清晰图像的过程,其是图像处理领域中一个极具挑战性的问题。对潜在图像进行先验建模是图像去模糊的核心问题,尽管很多有效的先验模型已经被提出用于图像去模糊,但仍然不存在一个完美的先验模型能够捕获自然图像丰富的语义信息,因此结合当前技术的发展(特别是深度学习的快速发展)对先验模型进一步探索是十分重要的。本文采取从特殊到一般(即从非盲去模糊到盲去模糊)的研究策略,针对求解过程需要的图像先验信息,从探索合适的基于图像统计特征的先验信息入手,逐步深入到探索基于数据驱动下的深度先验信息,最终针对当前去模糊效果最优的端到端的深度学习方法,探索其网络结构中影响其重构性能的关键部件(我们称之为结构先验信息)。主要工作总结如下:(1)针对图像统计特征的先验,提出了一种基于可提升超拉普拉斯先验的泊松图像去模糊方法。首先基于BSDS数据集分析了广义lp/lq范数的数学特性,并在高频域使用广义lp/lq范数进行反卷积处理以保留强边缘。然后对泊松模糊图像进行基于可提升拉普拉斯先验的反卷积处理,并利用上面估计出的梯度信息来惩罚小梯度(通常是噪声),保留与图像边界相关的大梯度信息。实验结果验证了所提方法能够获得较好的重构性能。(2)结合广义lp/lq范数的数学特性,接着探索其适用于图像盲去模糊问题的有效性,提出了一种基于广义lp/lq范数的自适应图像盲去模糊算法。首先讨论了广义lp/lq范数对自然图像梯度的影响,然后在梯度空间中构建基于lp/lq范数的优化模型来估计模糊核。由于优化模型的复杂性,本文采用交替梯度下降方法对优化模型进行求解,并采用广义交叉验证的方法来进行正则化参数的选择。本文的实验结果表明,所提算法在多个测试集上均能获得较好的重构性能。(3)探讨传统基于能量优化和基于深度学习的图像去模糊方法的关联性,利用深度图像先验(Deep Image Prior,DIP)的优势,提出了一种基于深度对抗网络和局部模糊探测的目标运动场景去模糊方法。针对目标区域与背景区域可分离的模糊场景,使用不同的生成器来替换传统算法中相应的先验项,构建一种基于局部模糊检测的深度去模糊网络模型,该网络模型包含三个生成网络,其分别对潜在清晰图像、模糊核和目标运动场景的权值变量进行建模。实验结果表明,该方法同其他方法相比可以显著的提升重构性能,视觉效果更好。(4)借用在大量自然图像集上训练得到的生成对抗网络模型作为先验信息,提出了一种基于深度GAN先验的自监督图像盲去模糊方法。该方法从两个方面进行研究:首先对潜在图像的退化过程进行建模,对应着传统的去模糊方法中模糊核的估计过程。为此提出了一种Reblur2Deblur网络模型,并在大规模数据集上进行训练。接着,使用松弛策略来实现基于GAN先验的图像重构,即允许预训练的生成器GAN网络和ReblurNet网络实时微调。实验结果表明,在合成数据集和真实数据集上所提模型都能取得较好的重构性能。(5)针对最新的基于端到端的深度去模糊网络模型,探索其结构先验信息,提出了一种基于注意力自适应和可变形卷积模型的动态场景去模糊方法。针对动态场景去模糊问题,我们基于注意力机制和图像的几何变化提出了注意力自适应模块(Attention-adaptive Module,AAM)和可变形卷积模块(Deformable Convolutional Module,DCM)。其中AAM模块通过使用通道注意力和空间注意力机制来提取图像的模糊特征及确定特征的位置。DCM模块被设计用于处理物体的几何变化,对应着学习如何处理由AAM模块提取的更精细的特征。简而言之,就是通过集成AAM模块和DCM模块到现有的去模糊网络模型中,使得集成后的网络模型可以学习如何更加有效的处理图像特征。实验结果验证了所提模块的有效性和普遍适用性。