基于深度学习的视频画质增强算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xxlxxl123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,数字视频以其最直观记录事物的特点成为我们日常生活工作中的重要组成部分,但其存储过大的缺陷,为网络传输及存储带来了巨大的压力。目前主流的视频编码压缩标准HEVC已经取得了不错的视频压缩效率,然而在面对日益增长的数字视频总量及实际生活中丰富的应用场景时,其追求的低码率、高压缩性能会使得视频产生严重的压缩失真,例如振铃效应、方块效应等等。因此,如何提升低码率条件下编码后的视频主观质量以及提升低分辨率视频的主观质量是目前亟需解决的重要问题。与此同时,深度学习在视频图像处理领域得到了快速发展,取得了许多传统算法无法达到的成绩,如何有效的将深度学习技术运用于视频图像处理领域以解决实际疑难问题,还需要进一步进行探索。基于以上研究背景,本文采用深度学习方法和框架,紧密围绕视频画质增强,从提升低码率条件下编码后的视频质量和改善低分辨率下的视频质量两个角度出发,分别提出了全新的视频压缩失真修复算法和视频超分辨率重建算法,以改善目前两种劣化条件下的视频主客观质量。主要研究成果如下:首先,针对低码率下视频质量问题,提出了一种有效将视频帧时域信息和视频编码器先验信息相结合的卷积神经网络算法。该算法首先将待修复帧通过多尺度attention模块提取视频帧中多尺度的细节补充特征图,随后提取HEVC低码率编码时产生的编码单元、变换预测单元的块划分信息作为待修复帧的失真修复指引图,最后将细节补充特征图及失真修复指引图按照时间顺序输入Conv LSTM网络中,并对Conv LSTM同时进行顺序及逆序的双向迭代有效融合时域帧间信息并完成视频帧最终修复。我们提出的算法对失真视频PSNR值平均能够提升0.39d B,同时也有效降低了视频中出现的各种压缩失真。其次,针对低分辨率视频质量问题,提出了一种将帧间运动补偿与视频帧时域信息结合的卷积神经网络算法。该算法首先通过运动补偿网络对输入LR的相邻帧进行位移校准,随后利用双向Conv LSTM网络对校准后的相邻帧及LR进行特征提取与融合,最后对输出的特征图做子像素卷积进行倍数放大得到HR。我们提出的算法相比于其他超分辨算法在各种放大倍数任务下均有着更高的主客观质量,相较于最常用的Bicubic插值放大算法,我们的算法在2倍超分辨任务下能够带来平均4.89d B的PSNR收益,同时也为超分视频带来了更丰富准确的细节信息。
其他文献
近年来,随着信息技术的不断革新,大数据领域发展迅猛,大数据蕴含的经济价值、社会价值开始凸显。时代的发展对政务公开制度提出了新的要求,从政府信息公开走向政务数据开放已是大势所趋,世界各国都在积极地推行政务数据开放。事实上,政务数据开放的出现并没有取代政府信息公开,而是与政府信息公开一起完善和丰富了开放政府的结构与内容,构成二元并立的开放机制体系。政府机构作为最大规模的原始信息采集者,掌握着最为丰富的
本报告翻译材料节选自托尼·莫里森的《他者的起源》前两章。《他者的起源》是托尼·莫里森2016年在哈佛大学讲座的内容合辑,呈现了作者所关注的美国黑人文化及种族问题。通
近年来,Bresse系统问题及其理论被广泛应用于工程、物理以及材料科学等领域.因此,对于此类问题的研究受到了许多自然科学工作者的高度重视.本文主要讨论具有记忆项的热弹Ⅲ型Bresse系统解的长时间动力学行为,运用Chueshov和Lasiecka发展出来的方法得到了拟稳定的性质、全局吸引子的存在性、吸引子关于时间的正则性和广义指数吸引子的存在性.全文分为四部分:第一章:介绍了Bresse系统问题的
写作能力是语言技能的重要组成部分,是英语学习者对英语知识的综合运用,学习者的英语水平如何很大程度就反映在写作能力上。掌握英文写作能力要求高中生不仅具备拼写,标点,语
太阳是一颗非常活跃的恒星,每时每刻都在向地球输送能量,对太阳射电爆发的研究不仅可以揭示空间天气的规律,最大程度减少灾害性空间天气造成的影响,同时也与我们的日常生产生活密切相关。太阳射电爆发是一种射电波段观测到的剧烈流量增强现象。对太阳射电爆发的观测和记录目前仍普遍采用人工检测方法,这种方法既费时又费力,还有随意性、遗漏性等诸多弊端。随着数字图像处理技术的发展,将其应用到射电天文学领域实现频谱图像的
21世纪以来,云从业者越来越多,云生态越来越完善,越来越多的企业拥抱云平台。这对支撑着云计算发展的关键--虚拟化技术提出了更多地挑战。I/O虚拟化作为虚拟化技术的重要组成
随着汽车工业的发展、5G网络的普及,车联网迎来飞速的发展,车联网中存在的数据隐私、数据可信性等问题也随之暴露出来。车辆一旦联网,利用车辆发送的数据信息很容易可以追踪到用户的隐私数据,如姓名、位置、行踪等。这些数据一旦泄露,将对车主造成很大的伤害。然而,用户一旦隐私受到保护或者匿名,在不暴露身份的情况下可能会发布虚假消息。区块链技术近年来有了迅速的发展,并且已经在多个领域得到了应用。为了解决目前车联
CDCL(Conflict Derive Clause Learning)算法是解决布尔可满足性问题(Satisfiability Problem,SAT)的一种完备算法,CDCL算法求解过程的基本阶段依次为:预处理;分支决策;布尔约束传播(Boolean Constraint Propagate,BCP);非时序性回溯;随机重启。分支决策是CDCL算法中重要的阶段之一,CDCL算法中的分支策略是
本文以对新媒体有敏锐触觉的200个新闻传播知名学者新浪微博为样本,采用内容分析法,从三个角度探讨常态下微博粉丝数的影响因素:人口统计学特征(共计12个变量)、表层内容(共
随着数据采集技术的不断发展,具有海量表现形式的复杂多视图数据不断涌现在科学探索和日常生活的各个领域中。所以,研究多视图数据分析问题具有重要的实际价值和意义。多视图分类是多视图数据分析的基础,现有的多视图分类方法大多为基于线性判别分析的,它们要求输入数据服从全局高斯分布,并且无法捕获数据的潜在局部结构,导致适用性差。而一些局部感知方法虽然能够捕获数据的局部结构,但是它们涉及KNN过程,需要预设邻域数