论文部分内容阅读
近年来随着3D内容采集和显示技术的飞速发展,多视角视频系统积蓄了越来越巨大的商业潜力。很多最初的三维视频系统选择H.264/AVC标准的多视角视频编码扩展标准——MVC标准作为压缩方案,但利用MVC编码标准压缩的多视角视频不支持在用户端灵活地生成自由视点视频,限制了3D视频产业进一步发展的空间。多视角纹理+深度视频(Multiview Video plus Depth, MVD)由多视角视频以及相应的逐像素深度信息组成,支持在渲染过程中灵活地合成虚拟视角,是自由视点视频、裸眼自动立体视频及改进的双目立体视频等3D应用得以实现的基石,因而成为了当下最有潜力的三维视频数据表达形式。然而,与本身数据量就相当巨大的多视角视频相比,逐像素的深度信息还会占用更多的传输带宽或存储空间,故MVD数据在传输或存储之前必须进行高效的编码压缩。本文提出了一种针对多视角纹理+深度视频的联合编码压缩方案来替代以往多视角纹理视频和多视角深度视频分别应用MVC标准压缩的独立编码方案。多视角纹理视频的边缘轮廓和其对应多视角深度视频的边缘轮廓具有着很大的相关性,这种相关性导致二者的运动信息和视差信息也都具有很大的相关性。本文为了去除这些相关性导致的编码冗余,将H.264/ AVC标准的可伸缩视频编码扩展标准——SVC标准中的层间运动信息预测机制引入到多视角视频编码框架之中,成功地去除了多视角纹理视频和对应深度视频之间的运动信息冗余和视差信息冗余,从而大大提高了多视角深度视频的编码压缩效率。依照多视角纹理深度联合编码方案,我们搭建了实现MVD数据压缩的实际编解码系统。本系统基于SVC标准参考软件JSVM搭建,除了在该软件上添加相应模块使其支持多视角视频编码外,我们还关闭了一些对深度视频编码效率没有影响的模块以加速多视角纹理+深度视频的编解码过程。与传统基于MVC标准的编解码系统相比,本系统具有编码效率高、复杂度低、前向兼容性好、可扩展性强等诸多优点,可以单独用于实现对MVD数据的编码压缩,也可以作为基本框架,附加其它3D编码技术以进一步提升MVD数据的压缩效率。综上所述,多视角纹理深度联合编码方案可以在保持基本层纹理视频的编码与MVC标准完全兼容的条件下,大大提升深度视频的压缩效率。对实际编解码系统的性能测试表明,本编码方案可以在码率相同的情况下取得最高1.34dB的视频质量提升。