论文部分内容阅读
近年来,计算机视觉在图像理解方面取得了卓越的进展,尤其是在图像识别、物体识别和定位等方面。而现在还缺乏有效的方法理解图像的形状、材质和环境的光照分布等更复杂的图像信息。其中,图像中物体的形状、材质和所处的光照分离形成的图像属于人类视觉感知的一部分,通常被称为本征图像。理解并分离图像中代表的物体的外观材质的反射率图和代表物体形状与所处的环境光照的相互作用的阴影图是计算机视觉中的一个由来已久并极具挑战的问题一一本征分解问题。本征分解问题是将一张原始图像分解为一张反射率图和一张阴影图,在没有其他约束的情况下,这是一个约束不足的病态问题。因此本征分解是计算机视觉领域中一个富有挑战性的问题,精确地分解出反射率图和阴影图是是一件非常困难的事情。由于单张图像缺乏足够的信息,当图像包含复杂场景的时候,分解结果常常因为约束不足而在反射率图和阴影图上出现严重的二义性,最终产生非常不理想的结果。为了解决这些问题,本文提出了一种基于深度学习和概率图模型的本征分解方法,在不对材质、形状和环境光照类型做特定假设的情况下对单张彩色图像进行本征分解。本文首先通过训练一个深层卷积神经网络初步分解反射率图像和阴影图像。然后利用条件随机场进行优化反射率图像和阴影图像。本文设计的卷积神经网络通过多尺度架构、深层监督、逐级细化合成图像以及多阶段训练方式获取初步的结果相较以往算法已经有了显著提高。接着通过条件随机场将本质图和对应的梯度图像进行进一步优化,能得到细节更加丰富边界更加清晰的本征图像。此外,本文的基于深度卷积神经网络模型和条件随机场的算法具有一定的通用性,有应用于其他图像预测的经典视觉问题的潜力。