论文部分内容阅读
当我们在室内透过玻璃拍摄室外的景物时,得到的照片中往往会包含有室内物体的反射影像。从这样一张带有反射影像的混合图像中分解得到两张图像(即玻璃背后的目标图像以及玻璃前面的反射图像)的问题是高度不适定(ill-posed)的,因为在缺少图像先验信息的前提下,这个问题在数学层面上可以得到无穷多组解。为此,研究者们提出了多种不同的图像先验来约束解的范围使其尽可能接近理想的结果。但是这些先验大多是基于低层的像素细节的,这使得它们无法适用于更复杂的、更一般化的场景。本文基于对抗生成网络框架提出了一种新的反射去除算法。该算法的目标是训练得到一个端到端(end-to-end)的前馈(feedforward)反射去除网络,这个网络接受给定的带有反射影像的混合图像作为输入,在经过一次前馈操作后可以直接得到分解的反射图像和目标图像。反射去除网络使用的是深层的卷积网络架构,因此具有多层次的图像特征的提取和还原能力,突破了传统的反射去除算法因仅使用低层像素信息作为先验的局限性。为了绕过反射去除问题本身固有的反射图像和目标图像的对称性问题,该算法借鉴了对抗学习的思想,通过引入一个鉴别网络作为反射去除网络的分解结果的评价器来引导反射去除网络的训练,解决了反射去除网络在没有确切匹配的输出目标的情况下的训练难题。本文通过实验证明,该算法在图像质量、处理速度以及自动化程度方面相比现有的算法具有巨大的优势。