基于深度特征反馈的超分辨率重建算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:Michael_Wong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率图像细节丰富,结构清晰,极大满足人类的视觉需求,但受制于现有的成像设备,用户很难简单地获取到较为高清的图像。超分辨率重建则是一种通过算法把低分辨率图像重建成对应高分辨率图像的技术,根据输入图像的数量不同,可分为单帧图像超分辨率重建和视频图像超分辨率重建。近年来,随着卷积神经网络和大数据技术的发展,基于深度学习的超分辨率算法因其在重建性能上远超过传统算法而获得广泛关注。受此启发,本文利用深度学习并结合信息反馈理论,首先对单帧图像的超分辨率算法进行探索性的学习,之后拓展到视频图像的超分辨率算法研究。主要的工作如下。基于深度学习的单帧图像超分算法目前大多趋向于加深网络深度,虽然对提升性能有一定的帮助,但带来过重的计算负担,同时过长的信息流在传播中易使低层信息丢失,限制特征表征能力。为此,提出了一种基于多尺度残差反馈网络的单帧图像超分算法。首先,通过密集连接的多尺度残差模块学习高低分辨率图像空间的非线性映射,具体而言,该模块采用多分支结构提取出不同尺度的上下文信息,并依靠卷积核选择机制动态调节输出特征的感受野。然后,通过循环结构反馈学到的高层特征以改善初始提取出的低层特征,不增加参数量且得到表征能力更强的特征。最后,对特征上采样得到高分辨率图像。实验表明,在五个标准测试集上所提算法PSNR和SSIM指标超越现有多数图像超分算法的同时保持了更少的参数量。视频超分不仅可以考虑当前帧图像的空间信息,更重要的是准确有效地利用多帧相邻图像的时间信息。为此,在利用上一个工作行之有效的多尺度特征提取和反馈机制的基础上,提出了一种基于多阶段特征融合网络的视频超分算法。首先,通过可变形卷积的对齐方式,在超分网络之前对当前帧与相邻帧在特征域上进行自适应运动补偿,从而实现帧间的特征配准。然后,将对齐好的相邻帧特征作为条件信息,在超分网络的多个阶段以调制的形式融合进当前帧信息;同时,利用反馈连接增强该富含时空信息的特征。最后,对特征直接上采样得到当前帧的高分辨率图像。实验表明,所提算法在三个视频测试集上重建效果良好,在SPMC-11和Vimeo-90K-T测试集上与现有最先进方法相比PSNR值提高了0.08dB和0.26dB。
其他文献
随着物联网技术的广泛应用,物联网的数据量爆发式地增长,随之而来的物联网数据管理问题也愈发明显。现有的物联网数据异构程度高,数据互用性差,数据隐私安全难以保证,这些都导致了物联网的数据价值难以被挖掘。区块链去中心化,零信任的架构颠覆了传统的中心化系统架构,已广泛运用到各个领域。区块链对物联网是一个完美的补充,可以提高物联网的隐私安全、通用性和可靠性。本文结合区块链对物联网数据管理与应用展开研究,并提
建筑能耗的准确预测对于建筑设计之初或建筑改造过程中的节能设计具有重要的意义,建筑室内微气象环境监测对于人们健康生活和工作至关重要,同时对于后期对建筑能耗进一步预测意义非凡。本文从对建筑能耗影响较大的温度参数入手,通过仿真和算法建立整栋建筑的能耗预测模型,最后搭建实物测试平台验证预测模型的准确性。为了对建筑能耗进行较为准确的预测,本文设计了一种基于计算流体动力学(Computational Flui
风是一种由空气流动引起的自然现象,它与人类的日常生活息息相关,并时刻影响着人类的生活质量。随着我国城市化进程的加快,为了适应快速增长的人口,城市内建筑群不断涌现,建筑群风环境已成为影响人类生活质量与安全的重要因素。如果建筑群内的风速过小,就会面临导致通风不良、污染物难以扩散等问题;但如果风速过大,则很有可能危及行人安全或导致建筑结构受到破坏,遭受巨大损失。因此充分了解不同类型的建筑群在大风条件下的
本文就国内外长江冲淡水研究的历史和现状进行回顾,发现长江冲淡水的扩展受到许多因素的影响,主导因素尚不明确,而长江口常年遭受台风灾害,关于连续的台风过境对长江冲淡水扩展和转向的影响研究较少。针对以上问题,本文基于FVCOM(An Unstructured Grid,Finite-Volume Coastal Ocean Model)模型建立了较高分辨率的长江口水动力模型,在验证结果较好的基础上,建立
因国家政策提倡和医疗水平的进步,全民健康信息化应用被大力发展与推广,医疗数据呈现蓬勃增长态势。然而,现有医疗设备的存储空间有限,不利于数据的长久保存。为充分发挥医疗数据的使用价值,将医疗数据上载到云端已经成为一种必然趋势,由此催生了“互联网+医疗”的新业态发展,更推动了云辅助远程医疗新模式。然而这种新的数据存储模式也存在众多安全隐患。其中,数据完整性问题作为云存储的核心安全问题一直备受关注,尤其是
为提高对地闪连接过程中多上行先导现象的认识,实现对其三维高精度模拟,本文在已有随机参数化方案基础上,植入多先导始发与发展模块以建立高建筑群多上行先导模型,利用电场并行计算技术提高模拟效率。本文将该模型应用于广州实际高建筑物群的地闪模拟并合理对比统计参数与个例形态,验证了该模型具有一定合理性。为加深对多先导触发机制的研究,基于新模型,本文设置了两组实验探讨地面建筑与下行先导各参数对多先导触发的影响。
随着人工智能和物联网技术的崛起,人们对保护隐私信息的愿景越来越强烈,信息安全已经成为大家越来越关注的问题。作为保证信息安全的重要手段之一,信息隐藏是指在多媒体通信载体中嵌入秘密信息并在公共信道上传输的一种安全通信方式。而图像隐写是信息隐藏的一个重要分支,它把秘密信息隐藏在公开的图像中,实现了秘密信息的隐蔽传输,有效保证了重要数据的机密性和安全性。因此,研究图像隐写技术具有深远的实际意义。然而,目前
针对雷云电场环境下金属尖端电晕放电以及电晕粒子对闪击过程的影响相关问题,本文采取理论与实验室试验相结合的方式,利用雷云电场发生器,在实验室建立类雷云电场环境模型,分析了在背景电场环境下,金属尖端处电晕放电的电场强度阈值以及电晕放电特性;再在前面试验的基础上利用冲击电压发生器,建立实验室模型模拟金属尖端在雷云电场环境下的闪击,分析了金属尖端电晕放电形成的离子背景对雷电冲击电压波的影响。试验表明:(1
伴随着世界各国间的贸易量增长以及水路运输行业的迅速发展,各类船舶的数量日益增长。有关船舶自动识别系统(Automatic Identification System,AIS)数据挖掘领域的各类研究也呈现出活跃的趋势,对AIS数据进行数据挖掘分析,可以得出大量水路运输的数据特征。同时,数据挖掘分析的准确性与数据源的数据质量关系密切,合理设计数据质量评价方法获取高质量的数据,才能挖掘出更加准确的数据特
近年来,由于突发性强对流天气引发的洪水事件越来越频繁,洪水预报的精度要求也相应不断提高。基于雷达外推的降雨临近预报可获得未来6h内的高时空分辨率降水信息,将其通过气象水文耦合预报的方式应用于水文预报,有助于解决气候变化条件下气象要素预报不确定性等问题,提高洪水预报精度以及延长洪水预见期,是目前国内外水文气象预报领域的主要发展趋势。本文根据淮河上游流域的历史降雨流量资料,应用基于网格结构的全分布式水