论文部分内容阅读
立体视频技术给观众带来的不仅仅是图像质量的提升,而是一种全新的视觉体验,但是目前一方面随着分辨率的提高,视频编码复杂度急剧增加,另一方面立体视频技术的视觉舒适度问题也限制了其广泛应用于各行各业。因此,本文深入研究如何在不影响主观观看质量的情况下显著降低编码端计算复杂度以及在确保深度感的情况下增强立体视频视觉舒适度,主要研究内容如下: (1)在保证虚拟视点绘制质量的前提下,为了降低深度视频的编码复杂度,提出了一种基于最大可容忍深度失真(Maximum Tolerable Depth Distortion,MTDD)模型的低复杂度深度编码算法。具体而言,将MTDD模型引入到率失真代价函数,通过对编码单元(Coding Unit,CU)进行失真度量判决,如果对当前CU进行编码不会导致可察觉的视点合成失真,则失真度量只考虑深度编码失真,否则失真度量同时考虑深度编码失真和视点合成失真,从而降低编码复杂度。实验结果表明,所提出的算法在不降低虚拟视点绘制质量和不增加编码码率的情况下,降低立体视频编码复杂度56%以上。 (2)针对现有立体化过程中采用经验方式选取汇聚平面,未能充分考虑视觉舒适度因素,因此为了提高立体3D图像视觉舒适度,得到令人满意的视觉体验,提出了零视差平面优化的三维视频立体化方案。通过空间频率、视差响应、以及视觉注意三者预测视觉不适强度;然后,根据视觉不适强度图依据一定的准则选择一个最佳零视差平面(zero-disparity plane,ZDP);最后,根据选定的ZDP自动调整正负视差范围。实验结果证明了该方案的有效性,在保持深度感不变的情况下,提高视觉舒适度。 (3)视觉舒适度和深度感是影响立体3D体验的两个重要因素,针对现有舒适度增强算法以牺牲深度感为代价来提高舒适度,本文提出了一种新的视觉舒适度和深度感联合优化方案。所提出的优化方案的主要目的是提高整体立体3D体验质量,包括两个阶段:第一阶段层独立的视差调整过程,在同时满足视觉舒适度和深度感限制的条件下,迭代调整每一个深度层内的视差范围直到满足期望的舒适度和深度感阈值。第二阶段层依赖的视差处理过程,通过优化由层内数据项、层间数据项和恰可察觉深度失真项构建的总能量函数来指导视差调整。实验结果与其他对比算法相比,表明本算法能取得更好的立体3D体验。