论文部分内容阅读
立体视频是通过双视点或者多视点摄像机采集同一场景得到的视频序列,与单通道视频相比,它增加了景物的深度信息,可以增强视频的立体感和逼真感。但是立体视频庞大的数据量阻碍了其实用化,因此对立体视频数据进行高效的压缩以降低对存储和传输的需求至关重要。立体视频编码技术通常利用帧内、帧间和视点间预测与补偿等方法来挖掘立体视频的时间冗余、空间冗余和视点间冗余,从而实现一定的压缩,但是传统的立体视频编码方法忽略了人眼在观看视频时的感知冗余。本文从人眼的视觉特性出发,对基于视觉显著性的立体视频编码进行研究。基于人类视觉系统的生理学和心理学研究表明,人眼在观看和理解视频图像时,会将注意力集中在一些引起视觉显著性的、最能表现场景信息与图像内容、值得关注的区域,这些区域也就是感兴趣区域。根据人眼对不同区域的感兴趣程度不同和对失真的敏感度不同,本文利用视频的深度信息将视频分为多级感兴趣区域,并采取相应的量化参数调整措施为感兴趣区域分配较多的比特以提高视频质量,为非感兴趣区域分配较少的比特以实现更有效的压缩。基于多级感兴趣区域的多视点视频编码方法,提高了视频感兴趣区域边界的平滑性,在保证重建视频整体质量的前提下降低了码率,提高了多视点视频的编码效率。多视点视频可以让用户在不同视点间自由切换、增强3D视觉体验,但是在资源有限的环境中难以传输多个视点。虚拟视点绘制技术可以利用纹理和深度数据生成立体显示设备所需的多视点视频。本文在分析虚拟视点绘制原理的基础上,研究了基于视觉显著性、面向虚拟视点绘制的多视点视频加深度编码,提出了基于深度、运动和深度边缘信息提取感兴趣区域的方法和纹理视频、深度视频的优化编码方法。实验结果表明,该优化编码方法可以在不增加编码比特的情况下提升虚拟视点中感兴趣区域的质量。