论文部分内容阅读
消费级的深度传感器,例如微软公司的Kinect,可以实时获取被测场景的深度图像以及与之同步的彩色图像。且获得的深度数据对于一些计算机视觉领域的高层次问题,比如物体检测和识别、三维重建等研究领域提供了廉价的几何信息。近年来,随着成像技术的成熟,深度传感器越来越多,深度图像的修复也受到广泛关注,因为这是后续研究的基础,对后续的研究起着至关重要的作用。借助于深度传感器,我们可以快速便捷的获取深度信息,从而通过一系列算法完成计算机视觉领域的一些关键工作。但是,受其工作原理的限制,导致深度传感器无法获取部分物体的深度数据,且其工作范围有限,导致部分深度数据缺失,给后续的研究和应用带来很大的影响。现有的深度数据恢复算法对于近处场景的小范围缺失数据具有有效的恢复效果,但是在物体的边缘容易产生模糊,并且对于远处场景的大范围缺失数据无能为力。有的算法需要大量的数据,并且无法修复单帧深度图像。有的算法需要额外的高清彩色相机或者彩色相机和深度相机对,从而限制了算法的应用场景。本文提出一种自学习的深度图像恢复算法,由Kinect获取的彩色图像和深度图像对其丢失的深度数据进行预测。首先,我们获得一个基于Kinect获取的彩色图像的被测场景深度的估计值。然后,用此深度估计值与Kinect获取的每个像素的邻域的灰度值和深度值训练一个随机森林模型。这个模型用来预测Kinect缺失的深度数据,具有更多邻域有效信息的像素点被最先预测,预测之后的值加入训练数据集重新训练模型,循环预测直至所有的缺失数据被恢复为止。该算法融合单幅彩色图像通过机器学习得到的深度场景,不仅对Kinect工作范围内缺失的深度数据进行预测,而且用自我学习的方法将近处的数据迁移到远处,对远处Kinect工作范围之外的深度也能实现很好的预测。实验结果表明,本文提出的算法对Kinect原始深度图像进行了很好的修复,与其它方法相比具有显著优势。