沉浸式视频是计算机视觉领域极其重要而又具有深远意义的研究课题,是未来多媒体视频技术的重要组成部分,具有极其广泛的应用前景。沉浸式视频采用两个或多个摄像机从不同角度同一时间拍摄的多个视频,来产生一个全面的3D数字视频,并运用计算机视觉和计算机图形学,为交互式视频和电视的观察者提供一个“虚拟摄像机”,使观察者可以自由地选择观察方向和视角。多视角视频是是沉浸式视频众多应用中极其重要的一种应用,主要用于解决沉浸式三维视频的表现、交互、存储及传输。多视角视频由一组平行或会聚相机阵列拍摄得到的视频信号组成,经处理后能提供所拍摄场景不同角度的视频信息,达到自由切换视角的目的,能满足用户从多个角度选择和操作视听对象的要求,提供了交互式的场景漫游能力。视差,是指从有一定距离的两个点上观察同一个目标所产生的方向差异。在多视角视频中,视差定义为视角轴上的运动。视差信息是进行对象分割、实现各通道间视差补偿预测和构造中间视点图像的重要特征,高效、快速的视差估计是进行立体视频图像编码的关键.视差估计是按照某种数学准则,在对应图像中寻找已知点或块的相匹配的点或块,因此视差估计也称为图像匹配过程。本文的主要工作包括:1.深入研究了沉浸式视频的内容、实现步骤、软硬件构成等,分析了沉浸式视频的表示、编码、关键技术,并对沉浸式视频的各种应用做了说明;深入研究了多视点视频的内容、特点,重点研究了其编码,比较分析了基于“对象”的编码方法和基于“块”的编码方法的优缺点;2.研究了视差与深度的基本原理,深入研究了视差估计的原理、详细论述了视差估计的多个约束条件及其在视差估计算法中的作用,揭示了合理利用约束条件可以达到事半功倍的效果;3.比较分析了现有的视差估计算法,介绍了各算法的优点、缺点;4.着重研究了其中的三种视差估计算法:SAD匹配致密视差估计算法、一种基于分块匹配算法的视差估计算法、一种基于特征点配准和插值技术的视差估计算法,并给出了编程框图和实验结果。5.针对现存算法的缺陷,改进了一种基于分割的视差估计精炼算法。首先,对左右图像对进行基于颜色的分割;其次,计算每一分割区域的初始视差空间分布;再次,用邻域分割和投影提炼每一个分割区域的DSD,期间执行平滑性限制和连续性限制;接下来,进行平滑处理,最后,给出了实验结果和详细分析。对深度不连续区域有很好的处理效果,使视差变化更加连续光滑沉浸式视频广泛应用于三维立体视频会议、三维视频监控系统、虚拟现实、3DTV、汽车智能辅助驾驶等越来越多的领域,是极富吸引力、极富挑战性的研究课题。沉浸式视频、多视点视频、视差估计等技术将有广阔的发展空间和美好的前途。