论文部分内容阅读
深度图比纹理图更能节省码流以及能方便灵活的利用DIBR绘制出不同的虚拟视点,纹理加深度的多视点视频被认为是最有效的一种3D视频数据表达形式,深度信息将是3D视频数据表达中一个不可缺少的重要信息。与传统的纹理图相比,深度图具有物体内部平滑和边缘突出的特点,而且其不输出显示和观看,只用来绘制新视点。由于深度图和普通2D视频之间的差异性,使得直接采用传统视频技术对深度图进行处理不尽合理,因此本文将利用深度图的特性研究新的深度图优化方法和高效的编码方法。我们首先提出一种有效的深度图优化模型,该模型不仅能够消除深度图中噪声干扰的影响还能够避免物体边界的模糊,同时考虑像素间的色彩,空域和概率的相关性和高斯误差模型,通过对空洞周边纹理和深度像素的相关性度量,恢复空洞区域各像素的像素值。其次,我们提出基于深度图边缘特性的上采样算法。基于空域上下采样的深度编码框架中,下采样造成的边缘信息损失是影响合成视点质量的主要原因。利用3D视频中深度图与对应纹理图的边缘轮廓相似性以及深度图自身的空域相关性,设计基于协方差估计的自适应上采样插值模型,使得插值系数根据图像局部特征调整以保留边缘轮廓。最后,我们提出了基于视觉感知的深度编码方法。深度编码性能主要取决于绘制视点的主客观质量,在深度图编码时,既要考虑减小虚拟视点绘制失真又要保证失真测度与主观评价一致。因此本文深入研究了由深度编码产生深度值变化造成的虚拟视点绘制失真(用基于人类视觉系统模型的图像质量评价方法SSIM作为失真测度)的估计模型,并把它应用到基于视觉感知SSIM的RDO模型中。在深度图编码时,提出的RDO模型选择最优的宏块编码模式(即虚拟视点失真最小时的深度图宏块编码模式),能够提高绘制出的虚拟视点客观质量(SSIM度量)和主观质量。总之,本文通过利用深度图的自身特性,提出新的深度图优化方法和高效的编码方法。通过深度图优化方法能够获得完整精确的深度图,再利用本文提出的编码方法对深度图进行压缩编码能够获得更高的编码效率。