2D-3D视频转换中关键帧选取方法的研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:ifever2006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体电影和电视节目受到越来越多的观众的喜爱。但是,目前3D片源稀少,主要由三种制作方式得到:实拍立体、三维图形立体和2D转3D。2D转3D因其较低的制作成本和较好的3D效果受到越来越多的关注。2D转3D按照人工参与程度可分为人工转换、半自动转换和自动转换。人工转换的立体效果最好,但是资金和人力需求较高;半自动转换需要人工为选择出来的关键帧分配深度图,耗费较多的人力和时间;自动转换自动估计视频帧深度图,不需人工参与,3D视频立体效果较差。在半自动2D-3D视频转换中,由关键帧的深度利用深度传播算法得到非关键帧的深度图,进行虚拟视点绘制后得到3D视频。关键帧的质量影响着深度图的质量和3D视频的立体效果。国内外对于此领域的关键帧选择研究较少,目前主要是利用固定间隔选取关键帧。为减小深度传播过程中的误差,提高3D视频的质量,本文提出了一种基于遮挡区域的关键帧选取方法。遮挡产生的空洞影响着深度传播的质量,较小的遮挡区域更利于深度的分配和传播,因此首先进行遮挡区域的检测。为避免关键帧冗余和较大的深度传播误差,根据遮挡设定阈值,利用特征匹配比率选取候选关键帧。最后,为了使3D视频与真实场景的差异尽可能小,利用最小重投影误差选取关键帧。为关键帧分配深度需要较多的人工参与,耗费大量时间。我们将深度是否便于自动估计作为选取关键帧的标准,提出了一种基于深度估计的关键帧选取方法。选取出候选关键帧后,利用前、背景的颜色区别,以及前景物体的面积依次更新候选关键帧。最后,根据边缘点选择关键帧。结合深度估计选择关键帧之后,半自动2D-3D视频转换变为一种自动2D-3D视频转换,节省了大量人力和时间。最后,结合我们在视觉关注方面所做的研究,提出了一种基于视觉关注的关键帧选取方法,将观众的注视习惯作为选取关键帧的标准,选取某一时间段内观众注意力集中的视频帧作为关键帧,力求达到更好的主观效果。首先,分别构建视频的时域和空域关注模型。然后,按照时域优先的原则融合得到时空域混合关注模型。计算得到受关注区域,根据受关注区域变化得到视觉关注转移量。最后,根据视觉关注转移量的大小选取关键帧。从客观(深度图的均方误差MSE)和主观(合成3D视频的立体效果等指标)两方面对关键帧选择方法进行评价。评价结果表明本文提出的应用于2D-3D视频转换的关键帧选择方法要优于其他关键帧选择方法。利用这些方法能够以较快的速度转制出高质量的3D视频,满足观众对立体视频的观影需求。
其他文献
变换光学理论的蓬勃发展,使得人们想要人为操纵光线传播的梦想成为现实。作为变换光学理论的核心方法——坐标变换法被逐渐地应用于电磁器件的研究,隐身衣就是其中一个典型的
协作通信技术是近几年无线通信领域的研究热点之一。作为抵抗无线信道衰落、提高通信系统可靠性的一种有效手段,协作通信被广泛应用在无线传感器网络中,用以提高网络吞吐量、
非真实感绘制技术是指利用计算机生成不具有照片般真实感,而具有某些手绘或其他艺术风格效果的图像绘制技术。随着计算机运算速度的不断提升和互联网技术的飞速发展,非真实感
当今,随着高清、超高清视频以及3D电影的快速普及,视频应用向着高清晰度、高帧率的方向发展。在有限的传输带宽及存储空间中,对视频信息进行高效压缩成为了关键技术。在新的
LTE (长期演进)系统改进并增强了3G的空口接入技术,提升了数据传输速率和频谱利用率。空闲模式是指用户开机、但没有分配专门的信道资源给用户的状态。引入空闲模式一方面能
低密度奇偶校验(LDPC)码因其能逼近香农极限而成为当下最流行的编码方式之一,其译码算法亦成为研究热点。在LDPC译码中,译码速率和复杂度之间的矛盾始终未得到很好的解决。在
随着计算机软、硬件综合水平和信息技术在近几年的急速发展,数字图像抠取技术被广泛应用于图像处理、视频编辑以及电影特效制作等领域,是计算机视觉方面的重要研究课题。抠图
视频点播服务(VoD)的迅猛发展带来了巨大的带宽开销,在2012年,全球视频流量已经占到了整个互联网流量的57%。随着无线技术的飞速发展,大量3G,4G用户对VoD服务的需求更加加剧了核心
无线移动通信技术已经成为当今通信领域发展最快、市场潜力最大的热点技术。然而,无线频谱资源的紧缺是限制无线移动通信与服务应用持续发展的瓶颈。作为一种智能革命性的频
为应对人们对无线通信爆炸式的增长,多输入多输出技术(MIMO)通过在源节点和目的节点安置多天线进而实现收发端之间的分集和复用增益,有效地提高频谱利用率。但是受移动设备体