论文部分内容阅读
3D视频系统可以为观众提供身临其境的视觉体验。近年来,随着显示技术的提升,3D视频得到广泛应用,如3D电影、自由视点电视、3D家庭娱乐以及虚拟现实系统等。然而,相比于传统的2D视频,3D视频往往包含多个视点的纹理图和深度图,以及一些辅助信息,数据量更大,给存储空间和传输带宽造成更大压力。为了有效地压缩3D视频数据,国际上的标准化组织成立了 3D视频编码扩展联合协作组,在2D高效率视频编码标准(High Efficiency Video Coding,HEVC)的基础上推出了 3D扩展版本3D-HEVC,较以前的多视点视频编码标准可以实现更高的压缩比。3D-HEVC继承了 HEVC的四叉树划分结构,通过引入一些新技术,极大提高了压缩效率,但同时也增加了计算复杂度。因此,如何充分利用3D-HEVC的新特性,降低其复杂度,推进其实时化应用成为一个亟待解决的重要问题。本文正是在这样的背景下,展开了对3D-HEVC快速算法的研究,分别针对编码单元尺寸选择、深度图帧内预测和深度图帧率提升进行了优化:为了降低编码单元树划分的复杂度,本文对3D视频中的基本视点和非基本视点提出一种基于时空和视点相关性的编码单元尺寸选择快速算法。最先被编码的基本视点,由于没有可参考视点,不进行视差矢量预测,所以利用当前视点内编码单元四叉树分层划分的时空相关性,跳过太大或太小的尺寸尝试,从而降低了尺寸选择耗时。当基本视点编码重建完成后,根据三维空间变换关系将其映射到待编码的非基本视点,在此过程中将生成空洞标记图。对于非基本视点中的深度视频,可通过空洞标记图中对应位置的空洞信息提前终止编码单元树的递归划分;对于非基本视点中的纹理视频,可结合空洞信息和视点间的相关性来加速编码单元树的划分过程。针对深度图的帧内编码,提出一种基于灰度共生矩阵的深度图快速帧内预测算法。该算法对深度图中的每个编码单元在进行帧内预测之前生成相应的灰度共生矩阵。首先,通过计算灰度共生矩阵的协相关特征值,得到帧内预测的主参考方向,只将主参考方向范围内的角度预测模式添加到粗略模式选择候选列表中;然后,根据灰度共生矩阵的角二阶矩特征值和邻近块是否使用了深度建模模型,判断当前深度编码单元是否为平滑块,对平滑块省去将深度建模模型加入率失真候选列表中;最后,计算比较率失真候选列表中各候选模式的率失真代价,得到最终的帧内预测模式。该算法可以在保证编码效率的同时,有效降低深度图帧内编码的计算复杂度。针对3D-HEVC低帧率编码后的深度视频提出一种基于图割优化运动搜索的帧率提升算法。编号为奇数的访问单元中的深度图跳过不编码,解码后这些跳过的深度帧通过前后帧双向运动补偿的方式被插值重建出来。插值过程以编码单元树为基本单位进行,具体插值块的尺寸和搜索范围是根据对应纹理图的运动信息决定的。为了保证块间运动矢量场的平滑性,将一个编码单元树中所有块的运动搜索过程转化为一个全局能量最小化方程的求解,其中的匹配代价项是衡量插值块质量的合成视点失真。最后,利用图割优化算法来解决这个能量最小化方程,得到最终的运动矢量。用该算法重建出的深度图合成的虚拟中间视点,与用正常编码的深度图合成的虚拟视点相比,质量损失很小,同时可以节省码率和编码时间。