论文部分内容阅读
在雾霾天,大气中悬浮着的大量液体颗粒和固体颗粒会使光线发生散射,导致拍摄设备获得的是质量较低的有雾图,不仅影响图片的观赏性,也严重影响和限制室外视觉处理系统如安防监控、军事勘测、智能交通等对其的进一步理解和加工。因此对有雾图像进行去雾,使室外视觉处理系统能够在有雾霾情况下正常工作,具有非常重要的现实意义。本文利用深度学习对图像去雾进行了深入的研究,并且取得了一系列的研究成果,本文的主要研究工作如下:(1)提出了基于多尺度卷积神经网络的去雾方法。针对传统去雾算法手工提取的雾浓度相关特征比如暗通道存在先验失效的情况,即难以准确描述复杂场景雾浓度这一问题,本方法利用网络前端部分自动提取与雾浓度相关的特征,其次用不同尺寸卷积核对这些特征进行融合从而实现传统去雾算法中特征融合的效果,然后利用均值池化和最大值池化保留预测透射率过程中的高频信息,最后利用两个全连接层学习这些特征和透射率之间的非线性映射关系。实验结果证明了本方法提取的特征很好地描述了场景雾浓度,并且在自然图像和合成图像上都取得了比现有其他算法更好的去雾结果。(2)提出了基于Inception和自注意力机制的单幅图像去雾方法。图像去雾过程中存在透射率、大气光和无雾图三个未知量,但大多数算法仅仅对透射率或清晰图进行优化,忽略了三者之间的内在联系,从而导致去雾效果不理想。针对这一问题,本方法同时优化透射率、大气光以及无雾图。首先利用两个带有Inception和自注意力机制的子网络优化透射率和大气光,其中的Inception可以自动选择最合适的卷积核尺寸,使生成网络学习到的透射率更好地保持局部一致性,且引入的自注意力机制加强了与目标透射率或大气光具有强关联区域的注意力,使两个子网络更容易学习到其真值。接着将预测的透射率和大气光带入雾天图像退化模型得到无雾图,最后利用联合判别器判断由生成的无雾图和透射率图组成的样本对的真假,从而生成以假乱真的透射率和无雾图,达到对两者进一步优化的目的。实验结果证明了本算法在合成图像和自然图像上都取得了很好的去雾结果。(3)提出了基于雾天图像退化模型约束的生成对抗去雾网络。大多数去雾算法通过雾天图像退化模型进行去雾,但该模型只是理论上的建模,实际情况可能与其有所偏差。针对此问题,本方法旨在生成比雾天图像退化模型更符合实际的模型。首先利用生成网络将输入的有雾图通过映射关系得到无雾图。然后将生成的无雾图通过雾天图像退化模型得到生成的有雾图,并通过判别网络判断生成的有雾图的真假性以达到对生成网络建模的指导作用,使生成网络成为一个比雾天图像退化模型更加符合实际的模型。此外,本算法在训练时加入了基于权重加权的均方误差这一损失函数,对少雾区域的重建误差进行加强,以缓解去雾图在视觉上产生的过增强。实验证明了本方法在合成图像和自然图像上都取得了很好的去雾效果,在浓雾区域和少雾区域去雾都较彻底,而且去雾后图像看起来更加自然。