基于接缝裁剪的快速视频缩放算法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:wcf333
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着不同分辨率的移动设备数量的快速增长,如何将视频适配于多样的移动设备成为一项重要的研究课题。视频缩放技术将视频分辨率缩放至目标分辨率或长宽比以适应不同的播放设备。传统的视频缩放方法,例如均匀缩放或裁剪视频内容,通常会造成视频失真或内容损失,从而效果较差。基于内容感知的视频缩放方法,在改变视频分辨率的同时,能够保持视频中关键对象的形状,并协调视频帧之间的时间一致性和空间一致性,从而产生更少的视频伪影,提供了更加愉悦的观看体验。内容感知的视频缩放方法通常分为两种:基于接缝裁剪的视频缩放方法和基于网格的视频缩放方法。基于接缝裁剪的视频缩放来源于图像缩放中的接缝裁剪技术,同时考虑当前帧和相邻帧的一致性信息,找到最佳接缝对视频进行缩放;而基于网格的视频缩放将每帧视频划分为固定尺度的网格,通过连续帧之间的一致性信息对网格进行缩放。
  近几年来,研究者们提出了很多视频缩放方法并取得了较好的效果。然而,当前的视频缩放方法还有很多不足:(1)基于接缝裁剪的方法通常在单帧处理上有较好的效果,能够较好地保持单帧图像的空间一致性,但往往无法处理好多帧视频之间的时间一致性,导致出现视频伪影和抖动。此外,由于采用的动态规划方法时间复杂度过高,导致这类方法往往非常耗时。大部分基于接缝裁剪的方法无法很好地协调时间一致性和空间一致性,在处理包含高速运动对象的视频时效果较差。(2)基于网格的方法通常能够在多帧之间保持较好的时间一致性,从而产生较少的视频抖动。但由于处理粒度较粗(基于网格),该方法会在视频中产生较多变形,单帧处理效果较差。此外,虽然基于网格的方法处理速度较快,但通常需要一次性处理所有的视频帧,因此不能应用于实时视频流,导致方法应用上有较大的局限性。基于网格的方法在处理包含低速运动对象的视频上有较好效果,但对于具有高速运动目标的视频流,则会丢失时间一致性,导致效果较差。
  针对当前视频缩放算法存在的问题,本文拟开展基于接缝裁剪的视频缩放技术的研究,本文的主要研究内容包括:
  (1)基于时空一致性的视频缩放能量函数
  目前基于接缝裁剪的视频缩放方法大都采用连续接缝来改变视频分辨率,然而这种做法的缺陷十分明显。对于相隔的两帧视频,帧间连续的接缝虽然能够较好地保持时间一致性,但同样有可能造成下一帧的关键目标被扭曲,产生视频伪影或抖动,导致缩放效果较差。为了解决这些问题,我们提出了一种新的基于时空一致性的能量函数,得到的接缝能够避免产生视频伪影,产生更好的缩放效果。
  (2)基于遗传算法的视频缩放方法
  基于接缝裁剪的视频缩放算法,核心步骤之一就是查找要删除或添加的接缝。在已提出的方法中,通常使用动态规划算法在能量图上查找能量值最低的接缝。然而,这种方法需要扫描能量图上的所有可能路径,时间复杂度非常高,从而导致算法执行效率低下。我们观察到,对于视频缩放来说,次优接缝的缩放效果与最优接缝的缩放效果类似。因此,我们采用了遗传算法来代替动态规划算法执行接缝查找过程,在保证算法执行效果的情况下,极大地降低了算法运行的时间复杂度。与目前的最佳方法相比,我们的算法执行速度达到了该方法的三倍。
  综上所述,本文旨在开展基于接缝裁剪的快速视频缩放算法的研究。针对目前基于接缝裁剪的方法无法协调好时空一致性的缺陷,本文提出了新的时空一致性能量函数,很好地解决了时空一致性的协调问题,提升了算法的运行效果;此外,为解决基于接缝的视频缩放方法时间复杂度过高的问题,本文使用遗传算法代替动态规划执行接缝查找过程,极大提升了算法的运行速度。
其他文献
三维目标的配准与识别是计算机视觉与模式识别领域中的研究热点,已广泛应用于遥感测绘、机器人、军事安防、虚拟现实等领域。三维目标配准旨在对齐两个或多个不同视角的目标三维数据,从而完成姿态校正得到具有更大视场范围或完整的目标三维数据;三维目标识别的目的是基于三维目标模型在复杂场景中识别出模型目标并确定目标的位置和朝向。在三维目标配准识别问题中,点云局部特征描述扮演着至关重要的角色,其目的是充分描述三维局
学位
下肢助力外骨骼机器人是一种可穿戴式设备,它的出现使得穿戴者增强在负重行走、托举搬运和边检巡逻的运动技能,其作用主要在穿戴者展现自身运动动作时,无阻碍增强穿戴者的耐力、提高穿戴者的负重能力、保护穿戴者运动肢体,进而,提高穿戴者的工作效率或战斗力。下肢助力外骨骼机器人可以在人体运动的同时有机融合人体的下肢和上身部分,这种可穿戴设备通常由两条拟人化机械腿、相应的支撑连接设备以及配套的软硬件设施等组成。本