基于隐式运动估计的视频帧插值算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:ydahu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
帧插值算法是视频增强领域的核心技术,其主要任务是利用视频相邻帧的图像信息预测出中间帧。帧插值技术既可以用于帧率提升、慢动作视频等直接应用,也可以作为基础核心技术用于视频超分辨率、视频编解码等领域,其关键点在于如何准确地提取运动信息。基于显式运动匹配的帧插值算法在过去得到最为广泛的研究,但是这种方法容易受到诸如遮挡、光照变化、运动模糊等实际因素的干扰。虽然过去近二十年的研究在一定程度上改善了上述问题,但是精确的匹配通常需要用到迭代求解的全局优化算法,计算复杂度过高。近年来,以相位法和卷积神经网络为代表的隐式运动估计帧插值算法取得了不少进展。隐式运动估计规避了匹配的全局优化过程,通过局部信息的转换就可以提取运动信息。然而,帧插值算法在不同的应用场景下依然面临很多挑战。一方面,极端光照变化、大运动等条件仍是难点所在;另一方面,基于卷积神经网络的帧插值算法虽然取得较好的效果,但是很少考虑同时插值多帧的情况,而且模型参数量很大。本文在上述研究背景下,对相位法、卷积神经网络等隐式运动估计帧插值算法进行深入研究,并结合各自的优势解决相应问题。本文主要研究工作如下:针对图像信号相位差所能表征的运动范围有限的问题,提出一种基于相位修正和幅值对齐的帧插值算法。该算法利用自顶向下相位保留和自底向上相位矫正的过程对不同运动范围的物体进行区分,然后利用修正后的相位差信息移动相应的幅值信号,使待插值帧上的幅值信号更加集中。为了进一步提升图像质量,对于彩色图像设计了自适应高频残差处理方式,对深度图像设计了深度值矫正算法,用于去模糊效应。实验结果表明,该算法在深度图像插值效果优势明显,对于运动较大的序列,虚拟视点的PSNR提升0.1-0.2dB。对于彩色图像,亮度变化场景下的帧插值效果优势明显,在高帧率彩色图像上表现出有竞争力的性能。为了同时插值多个中间帧图像,并且提高极端光照变化条件下的处理能力,提出一种基于卷积神经网络的多重帧插值算法。该算法基于编码-解码网络,利用多分支流结构对多个中间帧的光流场进行时域一致性建模;引入相位子网络提取图像的相位特征,用于处理极端光照变化场景下的运动;最后用一个合成子网络进一步提升图像质量。实验结果表明,该算法在各个数据集上均优于其他先进算法,其中在大运动数据集上的PSNR平均提高了 0.4dB以上,并且在极端光照变化场景下表现优异。为了降低帧插值网络模型的参数量,提出一种基于轻量化单解码神经网络的帧插值算法。该算法用一维可分离Gabor滤波提取出能够高效表达运动信息的相位幅值特征金字塔,在此基础上用单解码网络预测光流场,经过图像变换和基于上下文信息的合成网络得到高质量的帧插值结果。网络训练以连续五元组序列为一个样本,同时引入线性运动损失函数,用于提高光流场的精度。实验结果表明,相比其他先进方法,该算法在保持极具竞争力的性能表现前提下,网络参数量降低了一个数量级。扩展大模型的帧插值性能超越其他竞争方法,PSNR在大运动数据集上提升了 0.28dB。
其他文献
在神经回路的组装过程中,相同神经元的树突或轴突相互排斥产生“自我规避”的现象,而不同神经元的神经突可以彼此识别为“非我”,进而交叉在一起。该过程需要细胞表达大量的识别分子组合,赋予单个神经元独特的识别标签,从而使神经突能够精确地区分自我/非我成分。唐氏综合征细胞黏附分子(Dscam1)和成簇原钙黏蛋白(Pcdh)分别在果蝇和脊椎动物神经元的自我识别中扮演重要角色。黑腹果蝇Dscam1基因通过可变剪
在γ-变形杆菌,如大肠杆菌(Escherichia coli)中,Arc双组分系统在介导细菌从有氧到无氧代谢转变过程中起着重要作用,因此该系统通常对于此类细菌的厌氧生长至关重要,但对于有氧生长却可有可无。但在以呼吸多样性闻名于世的奥奈达希瓦氏菌(Shewanella oneidensis)中,Arc系统却发挥迥然不同的作用。Arc系统缺失不但影响细菌的有氧生长,而且还严重影响胞外被膜(cell e
泛素-蛋白酶体系统负责真核细胞中绝大多数蛋白的降解,参与调控几乎所有细胞功能。其中,26S蛋白酶体自身的调控机制及其亚细胞定位是经常被忽略的重要科学问题。通常人们认为蛋白酶体主要定位于细胞质与细胞核中,但近年来有证据表明细胞中的多种膜结构上也存在蛋白酶体。蛋白酶体膜定位的分子机制、生理意义和调控方式尚不明了。本论文就这一问题进行深入研究,通过免疫荧光、胶体金免疫电镜、细胞组分分离、点击化学、基因编
重复序列在各类生物基因组中广泛分布,并且已被证明在基因组调控和演化过程中起着重要作用。快速、准确地鉴定基因组中的重复序列一直是生物信息学领域中一个具有挑战性的问题。为了弥补基于重复序列库方法的缺点,一些基于k-mer计数的工具根据k-mer频次计算重复度得分来从头检测基因组中的重复序列。尽管这些工具的时间、空间复杂度较低且识别表现良好,但它们在重复度计算,重复序列边界区分,对区段重复的检测敏感度等
在哺乳动物卵子发生过程中,活跃的转录和翻译活动为卵母细胞积累了大量的母源m RNA和蛋白,这些母源m RNA的胞质聚腺苷酸化和翻译激活驱动着减数分裂过程的进行。胞质聚腺苷酸化过程由多个蛋白共同调节,主要包括poly(A)聚合酶(PAP:Poly(A)polymerase),剪切和聚腺苷酸化特异性因子(CPSF:Cleavage and polyadenylation specificity fac
神经肽是神经元分泌的细胞间信号分子,在体内充当神经递质,神经调节剂或神经激素,并且在生物发育各个阶段对各种生理功能起重要的调控作用。谷氨酰胺RF-酰胺肽(Pyroglutamine RF-amide peptide,QRFP)是RFamide家族中最新发现的成员,并被鉴定为GPR103内源性配体,GPR103通过与异源三聚体G蛋白结合发挥作用。GPR103及其配体广泛表达于大脑和外周组织中,参与调
DNA的精确复制保障了遗传信息的维持和传递,然而,DNA复制过程持续受到来自细胞内外的复制压力,若没有保护性的压力应答机制,则会导致基因组的不稳定性和肿瘤等重大疾病的发生。在高等真核生物中,复制叉翻转是细胞应对复制压力的保护机制之一。在复制叉翻转过程中,正常的三向复制叉结构会被重塑成Holliday junction结构。有趣的是,我们在电镜下观察到翻转复制叉的翻转臂长度可达数千碱基对,表明复制叉
光计算是以光为信息载体并利用光在传播中的变化来实现信息处理的运算体系。由于其超快的处理速度以及极低的能耗和产热,光计算吸引了大批研究者的兴趣。空间光场模拟运算以光束波前的空间分布为信息载体,具有常规电子运算所不具备的并行性。传统的空间光模拟运算大多使用基于傅里叶光学的4f系统,依赖于具有宏观尺寸的透镜、滤波器等元件。而近年来微纳光学与制备工艺的快速发展,使利用波长甚至亚波长尺度下的器件实现空间模拟
核酶是一类具有催化活性的非编码RNA分子,在细胞内参与多种重要的生命活动,包括t RNA加工、内含子剪切、蛋白质合成等。根据催化机制不同,核酶可被分为两类:金属依赖型核酶和自剪切型核酶。已有研究表明,自剪切型核酶一般采用广义酸碱催化机制进行位点特异性的自剪切。目前,已发现的自剪切型核酶一共有十类,hammerhead、HDV、VS、hairpin、glm S、twister、pistol、twis
近年来基于深度学习的JPEG图像复原方法取得了突破性的进展,但在实际应用中仍然存在诸多掣肘,如多尺度学习模型存在的模型臃肿及复原纹理不自然等问题,双域学习模型难以解决彩色图像复原及动态图像压缩质量复原等问题,以及深度模型所带来的模型参数量过大等问题。本文针对上述问题,分别从感受野模型,双域学习模型,模型压缩等方面对基深度学习的彩色JPEG图像复原算法展开了深入研究:第一,针对多尺度学习模型存在的模