基于卷积神经网络的立体视频编码质量增强方法

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:thonny007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频成像和多媒体技术的进步,视频技术正朝着超高清和立体化的方向发展,为了解决立体视频高效压缩问题,视频编码联合组在高效视频编码(High Efficient Video Coding,HEVC)标准的基础上发布了3D高效视频编码(3D-HEVC)标准。但是新的标准在最大限度的去除数据冗余的同时,对视频的画质也造成了一定的影响。因此,如何有效地消除视频中存在的失真和孔洞,提升视频的质量,是迫切需要解决的重点问题。(1)三维视频系统通过对纹理视频和深度视频进行联合编码,然后利用深度图像渲染技术实现视点合成。但是,纹理和深度视频的压缩失真以及图像渲染技术中的遮挡问题会降低合成视点的质量。为了解决这个问题,本文提出了一种基于双流注意力网络(Two-stream Attention Network,TSAN)的3D-HEVC合成视点质量增强方法。通过学习合成视点的全局信息和局部信息,消除视点中存在的失真和孔洞。大量的实验结果表明,所提出的合成视点质量增强方法相比目前3D-HEVC中的质量增强方法具有明显更优的性能。(2)现有基于神经网络的合成视点质量增强方法在性能提升的同时,参数量也显著增加。为了减少网络模型的参数量,节省计算开销,压缩网络模型的运算时间,本文提出了一种基于残差蒸馏增强网络(Residual Distillation Enhanced Network,RDEN)的轻量级3D-HEVC合成视点质量增强方法。通过建立更加高效的网络结构,实现网络推理时间节约和模型参数量降低。最后,通过大量实验结果表明,本方法在网络模型轻量化同时不损失网络性能,可以高效地增强合成视点的质量,消除其中存在的失真和孔洞。
其他文献
大气电场是大气电学的基本参数,晴天时地面具有垂直向下的大气电场,雷暴天气时地面大气电场显著增强。地面大气电场的观测和研究对减少雷电灾害、大气电学研究、保障航空航天活动具有重要的意义。大气电场仪是测量大气电场的基本仪器。大气电场仪的有效标定、数据修正和异常值检测是提高观测数据质量的重要手段。大气电场信号具有非平稳信号的特征,利用非平稳信号处理方法,结合机器学习算法,分析不同天气状况下的大气电场,为雷
现有的基于深度学习的近重复图像检测算法主要依赖于CNN(Convolutional Neural Network,卷积神经网络)特征。相比于传统的手工设计特征,虽然一些基于CNN特征的近重复图像检测算法取得了较大的提升,但现有的方法往往单一地提取图像的全局CNN特征或者局部CNN特征,未充分结合考虑全局CNN特征和局部CNN特征的优点,因此在检测的准确率和效率上仍存在较大的提升空间。并且对于近重复
常规无线探空仪通常搭载高精度温度、湿度传感器、气压计等传感器,对大气温度、湿度、压力等因素进行测量。为了克服探空仪出云、入云后,水分子以冰晶或水滴的形式覆盖在湿度传感器表面从而影响湿度测量的精度问题,本文设计了一种双加热湿度传感器;同时,为了研制高精度、低成本的总辐射传感器,本文提出了一种带有铝制防辐射罩的热电型的总辐射传感器设计。通过两种传感器对高空温度、湿度、辐射强度的测量,旨在对常规探空仪上
短期降雨预测一直是气象预测中十分重要的研究课题,高效、准确的降雨预报为人类活动、国家安全提供有效的科学依据。近年来,深度学习在气象预测方面的研究取得的成果显著,很多深度学习的短期降雨预测模型已经超过大多数传统的降雨预测模型,但是深度学习模型本身还有很多值得改进的地方。目前很多气象中心获得的气象数据大多来自于多个观测站点,这些多站点数据具有高维性和混沌性,要对这些数据进行有效的建模,还需要模拟出数据
随着无人机技术的成熟与发展,无人机被广泛应用于军事和民用领域。然而,无人机也十分容易遭受恶意的攻击,导致严重的后果。无人机的视觉系统在避障、跟踪、定位等方面发挥着巨大的作用,是无人机安全的重要保障,但是很少有研究者对它的安全性进行研究。因此,本文从攻击者的角度对无人机视觉传感器的CMOS和检测模型设计了两种攻击方法,旨在研究无人机视觉系统的安全性。本文的具体工作如下:1)针对无人机视觉传感器的CM
多目标优化问题普遍存在于科学研究与工程应用中,其由多个相互冲突的优化目标组成,往往一个目标性能得到提升时会导致其它数个目标性能的下降。当目标空间维度超过3时,称之为超多目标优化问题;当决策空间维度超过100时,称之为大规模多目标优化问题,以上两类高维优化问题是当前智能计算领域的热点课题,具有重要研究意义。多目标优化属于NP难题,难以在有限的时间内计算出最优解,所以通常利用多目标进化算法快速地搜索出
域适应作为机器学习的新兴领域之一,目前已在语义分割,图像检测等方面取得了广泛的应用。在域适应中,通常目标域样本完全无标签,这种场景被称为无监督域适应(UDA)。当前,尽管已有许多UDA模型被提出,然而这些方法大多只考虑源域信息如何利用,没有从更深层次挖掘域之间的关系信息,这为本文留下了改进空间。此外,随着域适应场景中源域可获得信息逐渐减少,逐渐诱导出无源域适应,完全无监督域适应等场景。为此,本文尝
在“十四五”规划中重点强调了高性能MEMS传感器的研制。鉴于传统的硅基MEMS压力传感器普遍具有温度漂移和时间漂移等缺点,本文从抗干扰的角度出发,基于信噪比理论对MEMS压力传感器芯片进行了结构设计,并结合恒温控制和恒流源自校正方法显著提升了其性能,论文的主要研究内容如下:首先,理论分析了基于惠斯通电桥结构的压力传感器工作原理,简介了传感器温漂和时漂产生原因。通过ANSYS模拟仿真设计了多种压力传
分类是数据挖掘和机器学习领域中最基本、最具代表性的问题,精准且高效的分类是许多科学研究和应用工程的基础。进化计算(Evolutionary Computation,EC)技术由于具有较好的全局寻优能力,已成功地应用于解决许多问题,例如:分类问题,特征选择问题等。其演化出的进化分类模型便是用于求解分类问题的方法之一。近年来,头脑风暴优化算法(Brain Storm Optimization,BSO)
交通流量数据是一种典型的具有非线性特征的数据集,同时收集到的交通流量数据由于受多种因素的影响表现出高度随机性。因此,建立基于多因素交互影响的短时交通流量预测模型具有现实意义。本文基于深度学习的方法和模型,利用卷积神经网络和长短期记忆神经网络建立短时交通流量预测模型。主要研究内容如下:(1)提出了一种带有因果卷积模块的TCN-LSTM模型,该模型在特征提取部分由两个子网组成,一是基于原始交通流量数据