论文部分内容阅读
数字多媒体是当前最活跃的研究领域之一。随着人们对服务质量和视觉体验要求的不断提高,数字多媒体处理技术和设备都在不停地更新换代。作为一种新兴的可视媒介形式,立体视频凭借其立体感、沉浸感,可以为观众提供身临其境的视觉感受,因而引起了广泛的关注并且取得了一系列的研究成果。同传统二维视频相比,立体视频需要为用户提供多个视点的视频,并且随着视点数量的增加,传输数据量和计算复杂度急剧提升,这对网络带宽和处理器性能来说是严峻的挑战。在立体视频系统中,视频的分辨率是影响视觉体验的一个重要因素。分辨率反映图像提供细节信息的能力,图像的分辨率越高,其细节信息就越丰富,用户看到的画面就越细致越清晰。但是随着图像分辨率的增大,传输数据量会随之增加,在立体视频系统中,多个视点的数据量相叠加,更是加剧了这种负担。混合分辨率多视点视频架构是解决这一问题的有效方法。混合分辨率是指不同视点的视频采用不同的分辨率进行传输。它是在发送端将个别视点的视频进行下采样,以较低的分辨率进行传输,以达到降低数据量、节省带宽的目的。为了保证用户具有较好的立体视觉体验,需要在接收端对低分辨率视点进行超分辨率重建。本文着重研究了混合分辨率多视点视频架构下的超分辨率重建问题,借助全分辨率视点图像的高频成分,对低分辨率视点图像的高频成分进行估计,以实现分辨率的提升。本文主要有以下两方面的研究成果:1、提出了一种基于双重一致性检测的多视点图像超分辨算法,实现对混合分辨率多视点视频格式中的低分辨率视点进行超分辨重建。算法的主要思想是借助于相邻全分辨率视点中所含有的高频信息成分,首先利用深度信息和相机参数进行视点映射,将全分辨率视点图像映射到低分辨率视点图像平面上。为了确保映射结果的正确性,我们采用基于深度差和色度差的双重一致性检测。并且为了避免视点间亮度不一致的影响,事先对视点进行亮度调整。通过视点映射,将映射图像中的高频成分添加到低分辨率视点中,实现低分辨率视点的超分辨。在多视点视频结构中,我们将所有的全分辨率视点的高频信息相加,并根据它们与低分辨率视点的相关性取不同的权值。2、针对视点间一致性检测方法只能检测出映射错误的像素点,而不能对错误的映射进行修正的问题,提出了一种基于深度图修正的多视点图像超分辨算法。分析了多视点图像超分辨中边缘伪影的成因,基于对边缘伪影的成因的认识,提出了一种基于深度图修正的多视点图像超分辨算法,通过预先对深度图中前景背景边界处错误的深度信息进行修正,以保证视点映射结果的正确性,尽可能地充分利用高分辨率视点图像中的高频信息,同时通过抑制物体边缘处深度信息错误的不可靠像素点参与映射来避免向超分辨重建图像中添加错误的高频信息。