论文部分内容阅读
立体电影和电视节目受到越来越多的观众的喜爱。但是,目前3D片源稀少,主要由三种制作方式得到:实拍立体、三维图形立体和2D转3D。2D转3D因其较低的制作成本和较好的3D效果受到越来越多的关注。2D转3D按照人工参与程度可分为人工转换、半自动转换和自动转换。人工转换的立体效果最好,但是资金和人力需求较高;半自动转换需要人工为选择出来的关键帧分配深度图,耗费较多的人力和时间;自动转换自动估计视频帧深度图,不需人工参与,3D视频立体效果较差。在半自动2D-3D视频转换中,由关键帧的深度利用深度传播算法得到非关键帧的深度图,进行虚拟视点绘制后得到3D视频。关键帧的质量影响着深度图的质量和3D视频的立体效果。国内外对于此领域的关键帧选择研究较少,目前主要是利用固定间隔选取关键帧。为减小深度传播过程中的误差,提高3D视频的质量,本文提出了一种基于遮挡区域的关键帧选取方法。遮挡产生的空洞影响着深度传播的质量,较小的遮挡区域更利于深度的分配和传播,因此首先进行遮挡区域的检测。为避免关键帧冗余和较大的深度传播误差,根据遮挡设定阈值,利用特征匹配比率选取候选关键帧。最后,为了使3D视频与真实场景的差异尽可能小,利用最小重投影误差选取关键帧。为关键帧分配深度需要较多的人工参与,耗费大量时间。我们将深度是否便于自动估计作为选取关键帧的标准,提出了一种基于深度估计的关键帧选取方法。选取出候选关键帧后,利用前、背景的颜色区别,以及前景物体的面积依次更新候选关键帧。最后,根据边缘点选择关键帧。结合深度估计选择关键帧之后,半自动2D-3D视频转换变为一种自动2D-3D视频转换,节省了大量人力和时间。最后,结合我们在视觉关注方面所做的研究,提出了一种基于视觉关注的关键帧选取方法,将观众的注视习惯作为选取关键帧的标准,选取某一时间段内观众注意力集中的视频帧作为关键帧,力求达到更好的主观效果。首先,分别构建视频的时域和空域关注模型。然后,按照时域优先的原则融合得到时空域混合关注模型。计算得到受关注区域,根据受关注区域变化得到视觉关注转移量。最后,根据视觉关注转移量的大小选取关键帧。从客观(深度图的均方误差MSE)和主观(合成3D视频的立体效果等指标)两方面对关键帧选择方法进行评价。评价结果表明本文提出的应用于2D-3D视频转换的关键帧选择方法要优于其他关键帧选择方法。利用这些方法能够以较快的速度转制出高质量的3D视频,满足观众对立体视频的观影需求。