【摘 要】
:
随着计算机技术和视频处理技术的高速发展,视频已经成为人们获取信息最主要的途径之一,对视频获取质量的要求也越来越高。在现实生活中,由于受视频采集设备、硬件条件以及传输带宽的限制,人们获取的视频往往达不到理想的质量水平,不仅降低了人们的观看体验,也影响了对视频的进一步开发和利用。视频超分辨率重建技术是计算机视觉和图像处理领域中的一门重要的图像处理技术,它是从低分辨率视频中重建出高分辨率视频的过程,在视
论文部分内容阅读
随着计算机技术和视频处理技术的高速发展,视频已经成为人们获取信息最主要的途径之一,对视频获取质量的要求也越来越高。在现实生活中,由于受视频采集设备、硬件条件以及传输带宽的限制,人们获取的视频往往达不到理想的质量水平,不仅降低了人们的观看体验,也影响了对视频的进一步开发和利用。视频超分辨率重建技术是计算机视觉和图像处理领域中的一门重要的图像处理技术,它是从低分辨率视频中重建出高分辨率视频的过程,在视频处理领域、模式识别领域、卫星、遥感成像领域、天文学领域以及医学成像领域有着重要的应用价值和广阔的应用前景。因此,对视频超分辨率重建技术展开深入研究具有重要的理论研究意义和实际应用价值。本文围绕基于深度学习的视频超分辨率重建方法展开研究。目前大部分视频超分辨率重建方法采用的光流估计模块都生成低清光流估计,无法为后续的运动补偿提供更多的特征信息,本文提出了多帧融合光流网络,并将该网络应用于视频超分辨重建,有效提高了视频超分辨率重建质量;为了进一步利用视频帧之间的运动特征,提升视频超分辨率重建效果,提出了基于时空残差密集网络的视频超分辨率重建方法。本文的工作主要体现在以下两个方面:(1)提出一种基于多帧融合光流网络的视频超分辨率重建方法,该方法首先将相邻视频帧输入到改进的PWC-Net光流网络以得到高分辨率光流;其次通过融合光流模块对生成的高清光流进行融合,并通过空深转化使之生成光流组;最后光流组中的光流依次对输入的低分辨率视频帧进行运动补偿,补偿后得到的补偿视频帧组输入到亚像素卷积网络得到重建后的高分辨率视频帧。实验结果表明提出的多帧融合光流网络中对PWC-Net光流网络的改进网络可以提供相邻视频帧之间更多的运动细节,提出的融合光流模块为光流估计输入提供了更充分的补偿信息,多帧融合光流网络可以有效地提高视频超分辨率重建的效果。(2)提出一种基于时空残差密集网络的视频超分辨率重建方法,该方法首先对视频帧通过不同尺度的三维卷积层提取时空特性,将得到的特征图融合,得到时空特征图;其次将时空特征图输入到连续的三个时空残差密集块(每一个时空残差密集块由三个时空残差块密集连接组成)进行提取时空特征后,得到三个不同的时空特征图,并通过级联的方式进行特征融合;最后融合特征图通过亚像素三维卷积网络得到重建后的高分辨率视频帧。相比较大部分视频超分辨率重建方法所用到的二维卷积,本方法所用到的三维卷积能够自然的捕获相邻视频帧之间的空间特征。实验表明,时空残差密集网络可以有效地提取多层时空残差块的局部特征信息,并通过全局特征融合以全局方式自适应地保留分层特征,亚像素三维卷积网络则能有效地将分层特征映射到高分辨率输出,得到的高分辨率视频帧能够达到更好的重建质量。
其他文献
在全球节能减排的大趋势下,我国汽车行业积极实行升级换代。基于无位置传感器控制的永磁同步电机(Permanent Magnet Synchronous Motors,PMSMs)以其高功率密度、高效率以及高可靠性逐渐代替了传统的有刷电机而被广泛应用于车用空调系统鼓风机领域。然而,由于国外技术封锁以及国内研发能力的限制,我国车用鼓风机市场被国外企业长期垄断。面对国内巨大的市场前景,设计一款车用空调系统
瘤胃微生物系统的平衡是维持瘤胃正常功能的重要保障。在减抗禁抗时代,抗菌肽等具有广泛生物功能的抗生素替代物越来越受到业内外的青睐。本文运用高通量测序技术分析比较高精肥育山羊添加复合抗菌肽(AMPs)或瘤胃素后瘤胃细菌多样性及群落结构差异,并利用q RT-PCR技术分析比较瘤胃内部分功能菌数量差异,旨在探究复合抗菌肽对高精肥育山羊瘤胃菌群的影响,为复合抗菌肽的开发利用提供理论依据。试验选取25只健康、
抗菌肽(Antimicrobial peptides,AMPs)作为潜在的抗生素替代品,具有选择抗菌性、抗肿瘤、促进动物生长的特点,已被广泛运用于畜禽生产中。而抗菌肽在反刍动物的应用还少见报道,且目前在反刍动物育肥阶段,因高精料引发的疾病给生产带来的困扰严重。所以本试验在高精料育肥阶段山羊日粮中,并分别添加复合抗菌肽(PBD-m I:LUC-n=1:1)和瘤胃素(Monesin),观察复合抗菌肽是
在理性主义、快速增长主导的城市化进程中,出现了大量的立交桥下区域,已成为城市的“失落空间”及城市双修阶段城市更新改造的重点区域。而不断在增长的居民活动空间需求,使桥下空间中存在“自下而上”的发展力量,即非正规空间利用。由于我国传统的规划体系是政府与设计师主导的“自上而下”的设计与管理机制,居民自发利用的空间营造在此语境下长期被看成一种边缘化、甚至非法的空间利用方式,因此在我国规划设计过程中空间非正
体育小镇(又称为运动休闲特色小镇)是集运动休闲、文化、健康、旅游、养老、教育培训等多种功能于一体的空间区域、全民健身发展平台和体育产业基地,是我国推动现代化城镇建设,实现城乡一体化发展,促进供给侧结构性改革的重要举措。国内体育小镇尚处于初级规模化实践阶段,普遍存在不能因地制宜的设计规划,盲目跟风抄袭,缺乏针对性和创新性等问题,给后期体育小镇的建设和运营管理带来很大压力和困难。因此,采取科学合理的体
图像识别是当今人工智能领域的研究热点之一。其核心算法目标在于如何使计算机可以像人类一样从图像数据集中提取有效视觉特征信息并快速识别其具体类别,这也是图像识别应用所面临的最迫切艰难且最重要的问题。本文以字典学习和结构化表示学习为理论基础,旨在解决数据的小样本问题、增强识别模型的判别性并提高识别效率,提出了一系列学习模型并应用于多个图像识别任务。经过大量实验证明,所提出的三种算法在一定程度上实现了识别
随着分组密码在信息传感设备的轻量化应用,扩散层作为分组算法的核心部件,它设计的优劣对算法的安全性和实现效率等方面都有重要的影响,因此在实际应用中迫切需求具有轻量级的扩散层。扩散层的原理是一个线性变换,而线性变换的寻找依赖于程序在特定搜索空间的遍历,其中搜索空间大小极大影响筛选时间和概率。目前,大多数采用MDS方式来构造线性变换,然而在软硬件平台中,MDS的实现较为复杂,需要引入更多的运算或存储。由
随着电力电子技术的迅速发展,电力电子装置在各行各业的应用越来越为广泛。在诸多的应用下,电力电子装置的可靠性问题也随之暴露出来。功率半导体器件是电力电子装置中最重要的部件之一,也是失效率较高的元器件。因此,电力电子装置整体的可靠性与功率器件的可靠性息息相关,研究如何提高功率器件的可靠性具有较强的实际意义。功率半导体器件的热管理技术以平滑低频结温波动,提高器件可靠性为目的,是热力学和电力电子技术的交叉
太平洋-日本(PJ)遥相关型是东亚十分重要的模态,对于东亚大气环流和降水分布有显著的影响,而厄尔尼诺-南方涛动(ENSO)会影响PJ型。本文利用1979-2018年欧洲中期天气预报中心(ECMWF)提供的ERA-Interim再分析资料和海温、降水等资料,基于经验正交函数(EOF)、功率谱分析和超前滞后回归等方法研究了ENSO对PJ型季节内演变(ISV)周期和时空演变的影响。主要结论如下:(1)E
帕金森病(Parkinson’s disease,PD)是常见的神经退行性疾病之一,发生率仅次于阿尔兹海默症,其主要的临床表现为震颤、肢体僵直、行动迟缓等。随着我国人口逐渐趋于老龄化,PD发病率呈逐年上升趋势,严重威胁着人们的生命健康和生活质量。临床上针对PD的主要治疗手段是以直接或间接补充多巴胺的拟多巴胺药物治疗及一些侵入性的开颅手术,但治疗效果并不理想。雷帕霉素(Rapamycin,RPM)是