论文部分内容阅读
雨是最常见的气候现象，在雨天环境下，视觉传感器拍摄到的图像和视频会严重退化，出现模糊、细节丢失、颜色失真等现象。这些现象在影响视觉效果的同时，也会导致视觉处理算法如图像分类、目标检测、图像分割等性能的下降。因此，研究图像去雨对提升室外计算机视觉系统的稳定性有重要的意义。单幅图像去雨方法缺少图像序列之间的时间信息，相对于视频去雨具有更大的挑战性。本文围绕单幅图像去雨任务展开工作，主要工作内容和研究成果如下：
1)提出了基于生成对抗网络的单图像去雨网络(GAN-SID)
本文将单幅图像去雨作为一个图像到图像的翻译任务，使用生成对抗网络框架来解决，针对去雨任务的特点设计了网络结构和损失函数。生成网络的特征图转换部分使用了Squeeze-and-Excitation(SE)模块，能够提高模型对雨线特征的关注程度。与其他网络使用的批归一化(Batch Normalization, BN)不同，本文使用实例归一化(Instance Normalization, IN)，能够消除同一批次中不同样本之间的相互影响。此外，本文使用了可训练的感知损失函数，能够使输出图像在各个语义层级上接近真实图像。实验结果表明，本文提出的方案优于多个先进的图像去雨算法，结构相似度提升0.22，峰值信噪比提升3.02dB，在视觉效果上也优于对比算法。
2)提出基于超分辨率重建的强化去雨网络(GAN-SIDR)
所提网络的去雨结果仍然存在一定的雨痕残留，为解决这个问题，本文提出基于超分辨率重建的强化去雨网络(GAN-SIDR)。在生成网络输入端设计了一个雨纹估计网络对输入图像的雨线进行估计，用于指导无雨图像重建过程，在输出端设计了一个基于超分辨率重建技术的细化网络对生成结果进行细化。雨纹估计网络使用三路不同卷积核大小的密集残差网络，能够在不同的感受野上估计雨纹的分布情况。细化网络使用改进的ResBlock作为主体结构，能够在不显著增加计算量的情况下进一步消除生成结果中的雨痕残留。实验证明本文提出的强化去雨网络能够有效地消除生成图像的模糊和雨痕残留。
1)提出了基于生成对抗网络的单图像去雨网络(GAN-SID)
本文将单幅图像去雨作为一个图像到图像的翻译任务，使用生成对抗网络框架来解决，针对去雨任务的特点设计了网络结构和损失函数。生成网络的特征图转换部分使用了Squeeze-and-Excitation(SE)模块，能够提高模型对雨线特征的关注程度。与其他网络使用的批归一化(Batch Normalization, BN)不同，本文使用实例归一化(Instance Normalization, IN)，能够消除同一批次中不同样本之间的相互影响。此外，本文使用了可训练的感知损失函数，能够使输出图像在各个语义层级上接近真实图像。实验结果表明，本文提出的方案优于多个先进的图像去雨算法，结构相似度提升0.22，峰值信噪比提升3.02dB，在视觉效果上也优于对比算法。
2)提出基于超分辨率重建的强化去雨网络(GAN-SIDR)
所提网络的去雨结果仍然存在一定的雨痕残留，为解决这个问题，本文提出基于超分辨率重建的强化去雨网络(GAN-SIDR)。在生成网络输入端设计了一个雨纹估计网络对输入图像的雨线进行估计，用于指导无雨图像重建过程，在输出端设计了一个基于超分辨率重建技术的细化网络对生成结果进行细化。雨纹估计网络使用三路不同卷积核大小的密集残差网络，能够在不同的感受野上估计雨纹的分布情况。细化网络使用改进的ResBlock作为主体结构，能够在不显著增加计算量的情况下进一步消除生成结果中的雨痕残留。实验证明本文提出的强化去雨网络能够有效地消除生成图像的模糊和雨痕残留。