随着多媒体技术的发展,多视点视频为用户带来不同于传统二维视频的浸入感与交互体验。这种用户体验与多视点视频的视点数量及图像质量息息相关。其中,多视点视频中的深度信息表示场景到成像平面的距离,是提供立体感的关键所在。而深度图像和彩色图像相比空间纹理较少、平滑区域较多,因此在传输时往往采用更高的压缩比,为深度图像带来不可逆的压缩失真,将影响终端用户的立体沉浸式体验。传统视频编解码器中的环路滤波没有发掘多视点视频间的相关性,使其针对低码率下的深度图像质量的提升十分有限。另一方面,受限于搭建稠密摄像机采集系统的高成本,一般采集到的多视点视频数目也十分有限。于是,为了给用户提供更好的自由视点体验,使用较少数量的参考视点进行其他任意多个视点图像的视点生成以及质量提升是十分必要的,即在视点数目上对多视点视频进行增强。其中,如何生成参考视点范围之外的未知区域图像,即视点外推仍是一个亟待解决的挑战性难题。上述这些问题,都为多视点视频的未来应用带来阻碍。本文针对上述挑战,根据多视点视频的特点,在多视点压缩深度图像质量增强与多视点外推两个方面展开研究,取得了一些进展,具体包括:（1）提出了一个自适应多模态残差网络进行多视点压缩深度图像质量增强;挖掘多视点视频中不同先验信息的相关性,设计了一个多视点残差网络,并在此基础上,构建一个自适应跳跃连接结构,从而充分利用不同先验信息中的有益信息,抑制误导性信息;为了更好地对提出的网络进行训练,制定更恰当的数据集构成与训练策略。实验表明,我们的算法在客观评估中实现比其他对比算法更高的图像质量提升。在主观评估中,压缩图像的块效应得到抑制,物体结构及细节得以恢复。我们还进行了验证三维（Three Dimensions,3D）建模精度的点云重建实验,在实验中,点云重建中不连续的物体表面得以恢复。（2）提出了一个多约束编解码网络进行参考视点外的多视点外推;设计了一个基于编解码模型的多视点深度学习网络对多视点视频进行特征提取并映射到一个高维分布,并在高维分布中融合特征重建图像,从而得到正确的视点映射;在这一基础上,提出一个包含像素约束、特征约束、边缘约束的多约束损失函数,更好地在缺少先验的视点遮挡区域生成合理的视觉信息。实验表明,我们的算法生成的图像在客观评估中达到比其他对比算法更高的图像质量。在主观评估中,生成的新视点图像能够减轻错误视点映射带来的伪影,而且参考视点外的空洞区域也能生成合理的图像。综上所述,本文在沉浸式3D场景下进行的多视点视频增强算法研究,可以有效提升压缩多视点深度图像的质量,增加多视点视频视点数量,以较低码率,实现较好的视觉沉浸感,为将来的3D视觉应用提供解决方案。