论文部分内容阅读
高效压缩是视频通信的前提,特别是对于面向未来交互式视频应用的多视点视频加深度(Multi-view video plus depth, MVD)数据而言尤为重要。MVD的高效压缩虽然给视频传输、存储带来了可能性,但是在编码过程中所产生的压缩失真具有不可逆性,这给终端用户的图像呈现、人机交互、图像绘制等均带来重大影响。如何能够在没有编码端原始高质量信号的前提下有效提升终端用户的MVD质量,是未来交互式视频在面向实际应用过程中亟待解决的挑战性难题。传统视频编解码器中的环路滤波能够利用图像空域信息进行质量提升,但是没有发掘MVD数据相互之间的作用机制,从而导致质量提升的空间有限,这给MVD的未来应用带来阻碍。本文针对上述挑战,建立了MVD数据在视点域、时域、空域等多个维度之间的相互作用机制,在非对称编码的框架下分别从信号滤波、交叉熵评估、图模型评估等不同的角度展开研究,取得了一些进展,具体包括:
(1)提出了一种多视点多边滤波方案,探索了从不同时间维度的当前和相邻视点中选择的非局部候选区域来增强失真深度图像的方法;构建了利用基于候选区域聚集的宏超像素结构,刻画了交叉视点、空间和时间等多模态先验信息在物理和语义上的交叉关系;构建了多边滤波器模型,刻画了上述多模态先验信息之间的相互作用关系,挖掘了不同模态信息对深度图质量提升的贡献,抑制了各模态信息中的噪声干扰。实验结果表明,所提出的算法在PSNR和SSIM指标上可以分别获得2.63dB和0.032的平均增益。在主观评估中,即使在高压缩比、高失真条件下的深度图像目标轮廓也可以得到恢复。我们还通过面向实际交互式视频应用的虚拟视点绘制、3D点云重建等来验证我们的方案的性能。在这些验证中,图像中物体轮廓上的伪像可以得到有效地处理,而且3D点云重建中不连续的物体表面可以得到比较好的恢复。
(2)提出了一种用于深度图像质量增强的多视点优化滤波器,研究了失真的先验信息在滤波当前视点深度图像中的作用机制,探索了视点内部和交叉视点的先验信息在滤波器设计中的表达模式,克服了传统方法中先验信息的失真无法为滤波器做贡献的难题;设计了基于超像素的熵相关系数作为视点一致性指标,有效评估了失真的MVD中交叉视点先验信息的贡献;研究了全局优化框架下利用内部视点和交叉视点的先验信息进行建模的方法,设计了具有相应数据准确性和空间平滑度的能量函数。实验结果表明,所提出的模型优于最新方法,在PSNR和SSIM指标上分别可以获得3.04dB和0.038的平均增益。对于主观评估,压缩深度视频中物体细节和结构化信息可以得到恢复。我们还通过一些实际应用验证我们提出的方法,包括验证流畅交互的虚拟视图合成和验证3D建模精度的点云重建。在这些验证中,交互式视频中物体轮廓上的振铃效应和错位的伪影被有效处理了,而且恢复了点云重建中不连续的物体表面。
(3)提出了一种多视点图神经网络(MV-GNN),减少了多视点压缩彩色图像中的压缩伪像;设计了一种多视点图像的融合机制,充分利用了相邻视点有贡献的信息,并同时抑制了误导性信息;设计了一种基于GNN的融合机制,探索了GNN的聚合和更新机制在融合交叉视点信息中的新模式。实验表明,我们的算法在PSNR和SSIM指标上分别可以获得1.67dB和0.024的平均增益。在主观评估中,压缩图像中的块效应可以得到明显抑制,而且破坏的物体边界可以被更好恢复。实验结果表明,我们的MV-GNN优于其他最新算法。
(1)提出了一种多视点多边滤波方案,探索了从不同时间维度的当前和相邻视点中选择的非局部候选区域来增强失真深度图像的方法;构建了利用基于候选区域聚集的宏超像素结构,刻画了交叉视点、空间和时间等多模态先验信息在物理和语义上的交叉关系;构建了多边滤波器模型,刻画了上述多模态先验信息之间的相互作用关系,挖掘了不同模态信息对深度图质量提升的贡献,抑制了各模态信息中的噪声干扰。实验结果表明,所提出的算法在PSNR和SSIM指标上可以分别获得2.63dB和0.032的平均增益。在主观评估中,即使在高压缩比、高失真条件下的深度图像目标轮廓也可以得到恢复。我们还通过面向实际交互式视频应用的虚拟视点绘制、3D点云重建等来验证我们的方案的性能。在这些验证中,图像中物体轮廓上的伪像可以得到有效地处理,而且3D点云重建中不连续的物体表面可以得到比较好的恢复。
(2)提出了一种用于深度图像质量增强的多视点优化滤波器,研究了失真的先验信息在滤波当前视点深度图像中的作用机制,探索了视点内部和交叉视点的先验信息在滤波器设计中的表达模式,克服了传统方法中先验信息的失真无法为滤波器做贡献的难题;设计了基于超像素的熵相关系数作为视点一致性指标,有效评估了失真的MVD中交叉视点先验信息的贡献;研究了全局优化框架下利用内部视点和交叉视点的先验信息进行建模的方法,设计了具有相应数据准确性和空间平滑度的能量函数。实验结果表明,所提出的模型优于最新方法,在PSNR和SSIM指标上分别可以获得3.04dB和0.038的平均增益。对于主观评估,压缩深度视频中物体细节和结构化信息可以得到恢复。我们还通过一些实际应用验证我们提出的方法,包括验证流畅交互的虚拟视图合成和验证3D建模精度的点云重建。在这些验证中,交互式视频中物体轮廓上的振铃效应和错位的伪影被有效处理了,而且恢复了点云重建中不连续的物体表面。
(3)提出了一种多视点图神经网络(MV-GNN),减少了多视点压缩彩色图像中的压缩伪像;设计了一种多视点图像的融合机制,充分利用了相邻视点有贡献的信息,并同时抑制了误导性信息;设计了一种基于GNN的融合机制,探索了GNN的聚合和更新机制在融合交叉视点信息中的新模式。实验表明,我们的算法在PSNR和SSIM指标上分别可以获得1.67dB和0.024的平均增益。在主观评估中,压缩图像中的块效应可以得到明显抑制,而且破坏的物体边界可以被更好恢复。实验结果表明,我们的MV-GNN优于其他最新算法。