论文部分内容阅读
随着数字显示设备的多样化,如何对视频进行分辨率和宽高比的调整以满足不同的显示需求己成为亟待解决的问题。基于内容感知的视频重定向算法旨在视频缩放的过程中尽可能地保证视频中视觉显著区域的重建质量,以及保持视频帧之间的时域连续性。现有的视频重定向算法主要采用基于逐帧或全局的方法实现视频缩放:基于逐帧的重定向方法计算复杂度低,但是重建的视频容易出现较多抖动点;而采用基于全局的重定向方法的重建视频质量较好,但运算复杂度极高,两者需要有效的平衡与折中。此外,绝大部分现有的基于网格形变的视频重定向算法往往采用恒定的网格大小。鉴于视频内容的多样性,固定网格的大小通常会影响着视频重定向的质量。为了解决上述问题,本文深入研究了基于网格形变的视频重定向算法,旨在有效地提升其性能。研究结果如下:提出了一种基于网格形变与帧分组的视频重定向算法。该算法以网格形变为基础,考虑基于视频分组的方法实现重定向,旨在有效地平衡基于逐帧和基于全局的重定向方法的优缺点。具体地说,为了尽可能保护视觉显著区域的宽高比与视频的时空连续性,首先在构造视频相机运动模型的基础上,按设定的网格大小对视频帧进行分组;然后在每个视频组形成的拼接图上实现网格划分,并根据各网格相应的时间和空间连贯性的量度进行优化,获得其缩放因子;最后利用各视频分组中网格对应的缩放因子对组内所有视频帧实现重定向操作,获得重定向视频。本文利用常见的测试视频序列对算法进行了实验测试。实验结果表明:与传统视频缩放方法和其他基于网格的视频重定向相比,本文算法获得的重定向视频主观效果更好,在保护重定向视频视觉显著性区域的同时,有效地维持了原始视频的时域连续性。为了解决固定网格的大小影响视频重定向质量的问题,本文提出了一种基于客观质量评价和自适应网格划分的视频重定向算法。该算法可根据视频运动的剧烈程度,自适应地选择不同的客观评价指标对设定不同网格大小的情况下重定向后的视频进行评价,从而输出时域连续性保持更好的网格情况下的重定向视频。具体来说,首先在构造相机运动模型的基础上,划分几种不同的网格大小,分别利用不同的网格大小对视频帧进行分组;然后根据分组数的多少,选择客观评价视频的显著度相似性量度(saliency similarity measurement,SSM)或时域非连续性失真(temporal inconsistency distortion,TID);接着在每个视频组形成的拼接图上实现网格划分,对网格进行时空连贯性的量度与优化,得到不同网格情况下的重定向视频;最后根据选择的客观评价标准对不同网格情况的重定向后的视频进行评价,输出评分较优的重定向视频。本文利用常见的测试视频序列对该算法进行了实验测试。实验结果表明:本文提出的视频重定向算法与现有相关的视频重定向算法相比,获得的重定向视频的主观效果更好,在保护重定向视频视觉显著性区域的同时,能更有效地维持了原始视频的时域连续性。