论文部分内容阅读
全景视频在日常生活中越来越普及,但是由于网络传输能力有限,在传输高分辨率的全景视频时常用编码器如HEVC对其进行压缩,影响用户的视觉体验。因此如何对压缩全景视频进行有效后处理就成了迫切需要解决的问题。本文结合全景视频特性对不同形式的编码设置提出了两种全景视频后处理算法,以适应不同编码策略的压缩全景视频后处理。本文的主要工作如下:（1）提出基于可以适应HEVC编码器Ⅰ帧编码的全景视频编码后处理算法ARGAN。该算法利用单帧信息结合生成对抗网络设计算法进行后处理,使生成对抗网络学习到高清视频的构成方式,结合感知损失提升后处理视频帧的视觉真实性,使得ARGAN在很好的去除伪影和块效应的同时可以达到很好的视觉效果,同时ARGAN中单独的生成器网络ARRESNET可以达到优越的PSNR与SSIM提升效果。（2）提出可以适应HEVC编码器P帧编码的全景视频编码后处理算法ATT-RMDF。该算法融合多帧信息,显著优化由编码造成的视频帧质量波动。避开显式光流预测使用可变形卷积对齐多帧信息;设计注意力残差块在利用残差大幅度提升模型效果的同时使网络有针对性的利用各个相邻帧信息,并设计对齐验证网络来监督对齐的效果。实验表明,本文提出的基于单帧的ARGAN算法可在去除压缩伪影与块效应的同时达到优越的视觉效果,同时,单独的ARGAN生成器网络ARRESNET具有很高的PSNR/SSIM修复效果。基于多帧的ATT-RMDF算法不仅可以有效恢复PSNR与SSIM,同时可以明显的修复编码后带来的视频帧之前的质量波动,并且可以去除由编码带来的一些本不存在的工件,使后处理后的视频帧更接近于原视频。