论文部分内容阅读
随着人们对娱乐影音的体验要求不断提高以及3D电影的面市,3D视频逐渐成为当今计算机视觉和多媒体领域的新兴研究热点。由于3D视频较传统的2D视频增加了“景深”这一属性,因此针对3D视频的质量评估标准和处理方法与2D视频的情况有较大的不同。本文主要研究3D视频的后处理及其评估问题,提出了一种基于视差信息的3D视频客观评估方案,并在传统2D后处理方法的基础上,通过融入视差信息,提出了一种更适合于3D视频后处理的滤波方法,取得了不错的效果。由于立体摄像头的放置不可能满足两个摄像头光轴之间绝对平行的条件,因此实拍图像对的对应扫描行之间一般并非是完全对准的,这不仅可能给观看者带来视觉上的不适,也给视差信息的求取工作带来了一定的难度。为了简化立体匹配问题并给出较好的解决方案,对立体图对进行校正使对应的扫描行保持一致是一种较好的预处理方案。通过对摄像头进行标定虽然能取得较好的立体校正结果,但是标定过程一般比较繁琐,且标定结果受摄像头内部参数和摄像头间相对位姿变化的影响较大。不仅如此,现实中有很多3D视频并没有现成的标定参数可以利用。因此,研究未标定的图像校正问题具有非常重要的现实意义。在上述背景下,本文在第二章重点研究了此类图像校正问题,提出了适用于未标定立体图对的图像校正方法。实验结果表明,该方法能获得较好的处理结果,校正后的立体图对基本上可以满足后续立体匹配步骤的要求。为了了获得输入3D视频的视差信息,对校正后的图像对进行立体匹配时,采用了基于区域的立体匹配方法以获得稠密的场景视差图。考虑到拍摄3D视频时其摄像头多为会聚放置,因此,为了更好地获取感兴趣区域的深度信息,本文在第三章对会聚放置模式下的匹配模型进行了分析,并给出了一种基于图像MeanShift分割结果进行视差求取和优化的立体匹配算法。首先计算立体图对的初始视差,然后选取GCP(Ground Control Point)进行种子点生长,接着采用平面模型按区域对视差进行拟合,最后采用BP置信传播算法对视差结果进行全局优化以获得高质量的稠密视差图。为了减少立体匹配算法的运行时间以满足实际系统的应用需求,本文还研究了基于GPU的立体匹配算法的计算加速问题,取得了较满意的效果。在后续的第四章中,本文对3D视频的评估问题进行了讨论。首先将传统的2D视频后处理方法施加于压缩后的低分辨率3D视频并对其视觉效果进行了主客观评估。接着利用所获得的3D视频的视差信息提出了一种基于视差信息的3D视频后处理改进算法,在消除图像块效应和减少深度感损失方面取得了较好的平衡。实验结果表明,所提出的算法在物体的3D边缘处具有更好的处理效果。最后,在第五章对全文工作进行了简短的回顾和展望。值得指出的是,本文基于3D视频后处理的改进算法需要获取物体边缘较为准确的视差信息。因此,如何从3D视频中得到准确的边缘视差信息将是今后一个重要的研究课题。