论文部分内容阅读
深度信息被广泛应用在人脸识别、虚拟现实、辅助驾驶等领域。然而,由于传感器等硬件条件的限制,深度相机获取的图像分辨率较低,并且存在边缘模糊问题。针对上述问题,本文开展深度图像超分辨率重建研究,设计了基于级联金字塔的网络模型,利用残差结构对深度图的高低频分别重建,从而实现单幅深度图的超分辨率重建;同时结合彩色图引导理论,利用融合信息获取的边缘图对深度图进行频域分离和重建,实现了联合彩色信息的深度图重建网络。本文主要的研究工作如下:⑴阐述深度图像重建的研究背景及意义,总结深度图超分辨率的国内外研究现状并分析现有算法存在的问题;简要介绍深度图像退化模型和图像重建评价指标;概述卷积神经网络用于图像超分辨率重建通用的网络结构;分析典型的超分辨率重建网络。⑵针对深度图像分辨率低、超分辨率重建结果存在边缘模糊等问题,提出一种结合图像金字塔思想的卷积神经网络模型。网络以残差网络为主框架,采用级联的金字塔结构对深度图分阶段上采样。在每一阶段,采用简化的密集连接块获取图像的高频残差信息,同时残差结构中的跳跃连接分支获取图像的低频信息。网络以低分辨率深度图作为输入,以亚像素卷积层进行上采样操作。实验结果表明,该网络有效地解决了图像深度边缘的模糊问题。⑶针对彩色图引导深度图超分辨率重建过程中出现的纹理复制问题,设计联合彩色信息的深度图重建网络模型。该网络利用密集连接块对同场景彩色图和深度图分别进行特征提取、特征融合;通过融合特征获取高分辨率深度图的边缘图,利用边缘图对深度图进行频域分离;复用融合特征重建图像的高频部分,并结合低频信息完成最终的图像重建。实验表明,该方法更好地保留了边缘信息并有效地抑制纹理复制问题。