论文部分内容阅读
三维视频是多媒体领域的研究热点。近些年,人们将反映物体与相机距离的深度图引入传统三维视频中,形成了基于深度的三维视频系统。利用虚拟视合成技术,此系统可以生成任意视点位置的虚拟视图像。虚拟视合成利用深度信息求得视点间的视差,进而将像素点映射到虚拟视图像平面。在此过程中,深度噪声会引起视差计算错误,导致合成视的几何失真,深度图滤波方法是三维视频的主要研究方向之一。此外,三维视频所包含的巨大数据量是制约其普及的关键因素,人们已提出多种基于视差的视点间预测编码方法来提高编码效率,但这些方法仍有待优化。本文围绕上述内容开展了如下研究工作。1、深度图空域滤波方法:指出像素点的相关性由它们在真实空间中对应点的相关性决定,从三维空间位置临近性、纹理相似性和运动一致性三个方面对像素之间的相关性进行建模,提出了三维空间距离-纹理-运动三边滤波方法。将纹理图从YUV彩色空间转换到RGB彩色空间以充分利用视频中的色度信息,并根据纹理相似性确定参与滤波的像素点,进而提出深度图边界修复滤波方法。2、深度图空-时域滤波方法:在空域滤波的基础上,从三维空间位置临近性、纹理相似性和时间临近性三个方面对空-时域像素之间的相关性进行建模,提出了三维空间距离-纹理-时间深度图空-时域滤波方法。针对滤波过程中纹理图和深度图可靠性难以判断这一问题,通过联合利用纹理和深度信息,引入了像素向量的定义,并利用像素向量的相似性对像素的相关性进行建模,进而对最终参与滤波过程的空-时域参考像素点进行筛选,并利用中值滤波方法得到滤波结果,实现了的基于像素向量的深度图空域-时域滤波方法。3、基于深度的分块预测方法(视点间预测)优化:发现了此预测方法将无用的模式标志位(不可能使用此模式的情况)写入码流的漏洞,并利用此模式分块为非正方形这一特点,对其码流写入方法进行修正。上述空域和空-时域滤波方法取得了较好的滤波效果,提高了虚拟视合成结果的质量。此外,所提出的码流写入优化方法也有效提高了编码效率。