面向深度先验的图像去雾算法研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:lemon2513
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,越来越多的计算机视觉系统被广泛地应用于人们生活中的方方面面,从日常生活到国家安全,计算机视觉系统起着重要的作用。这些视觉系统往往会受到部署环境的影响。雾是一种常见的恶劣天气,大量颗粒悬浮在大气中,导致视觉系统捕获的图像严重受损,出现部分信息丢失、纹理细节模糊、颜色失真等问题,这些问题会直接损害视觉系统的性能。因此,如何快速有效地对雾天降质图像进行复原,提升图像质量,消除雾霾天气对视觉系统的干扰,在军事安全、日常生活和工业生产中具有重要意义。人工设计的先验是传统的图像去雾算法的重要依据,而真实场景下的雾分布往往更复杂,因此,设计的先验存在失效的问题,进而导致复原效果不佳。深度学习自2015年来在计算机视觉任务上大放异彩,深度学习技术也在图像去雾任务上遍地开花。这些新兴的图像去雾算法逐渐突破了传统算法的性能瓶颈,取得了重大进展,但是仍然存在一些不足。其一为现有方法大多在均匀雾分布场景的数据集上进行研究设计而成,忽略了在真实世界中的雾分布往往是不均匀的这一问题,导致这些去雾算法在实际应用时性能严重下降;其二为现有方法仅仅使用正样本信息进行监督,复原效果仍然存在提升空间,具体表现为复原图像仍然存在部分雾残留、颜色失真等问题,而负样本信息的潜在价值暂未被挖掘;其三为现有的深度学习去雾模型虽然在不断提升性能,但是也带来了大量的模型参数量,加大了落地部署的困难。本文针对这些问题,进行面向深度先验的图像去雾算法研究。本文的主要工作和贡献如下:(1)针对非均匀雾分布场景,本文提出一种基于知识蒸馏的非均匀场景图像去雾算法。由于非均匀雾分布场景的数据集收集难度大,现有的数据集数量少,因此本文考虑引入额外的图像先验知识来增强模型。本文首先使用经过大量自然图预训练的模型作为编码器,同时引入注意力机制模块对不同浓度的雾区域赋予不同的权重,有效缓解了雾分布不均匀导致的性能下降问题。此外,本文使用清晰图预训练一个教师网络,通过知识蒸馏把教师编码的清晰图特征先验知识迁移给去雾网络模型,进一步提升了去雾网络模型的复原效果。(2)为了进一步优化去雾算法,本文提出一种基于对比学习思想的去雾新范式,该范式的关键在于挖掘负样本信息作为解空间的下界。本文基于模型输出的复原图的表征应该在靠近正样本的同时远离负样本的先验,提出一种即插即用的对比正则方法。(3)从均衡模型性能和参数量入手,本文提出一种基于动态融合的紧凑图像去雾模型。该模型基于编码器-解码器架构,编码器对输入图像进行了下采样,使得密集的特征提取计算集中在低分辨率特征空间上进行,大幅减少了参数量和计算量。其中特征提取部分采用的是高效的基于注意力机制的组合模块和动态特征增强模块。此外,该模型还引入了动态自适应融合策略用于弥补下采样带来的信息损失。综上所述,本文以非均匀雾分布场景、负样本信息挖掘以及均衡性能和参数量为切入点,进行面向深度先验的图像去雾算法的改进和创新,在一个公开基准数据集和两个真实世界数据集上进行充分的实验,实验的结果验证了本文方法的有效性和优越性。此外,本文所提出的去雾算法分别被CVPR Workshop 2020和计算机视觉顶级会议CVPR 2021录用。
其他文献
多目标跟踪作为无人驾驶领域的一项核心技术,伴随着无人驾驶技术逐渐走进人们的视野,越来越多的研究人员也投身到了多目标跟踪领域进行更深层次的探索。经过长时间的技术积淀,多目标跟踪在交通安全、虚拟现实和无人驾驶等领域已经开始了应用,同时也展现出了巨大的潜力。如今目标跟踪的相关技术已经应用到了实际的生产生活中,为人们的生活带来了便利,提高了人们的生活质量。作为计算机视觉领域的一项基础工作,随着深度学习与卷
随着时间推移和5G技术普及,互联网技术在各行各业中得到推广,这也使得电梯制造商在市场营销过程中逐步引入智能网络的理念。在新社会环境下,商业电梯制造商所面临的业内竞争十分激烈。随着社会经济的不断发展,市场改革的不断深入,也推进了企业市场营销的改进和完善,在竞争激烈的市场环境下,如何提升市场营销的水平已是每个企业发展中重点关注的问题。本次研究结合以上背景内容,梳理国内外学术界现有对于电梯制造商相关的营
随着我国全社会用电量持续不断地增长,输电线路的数量以及覆盖范围也在逐年攀升扩增,绝缘子在输电线路中担任着机械固定、支撑线路以及实现电气绝缘等多种功能,拥有着至关重要的地位,若不及时检测更换故障绝缘子,会导致电力系统短暂奔溃并且造成一定的经济损失。由于输电线路大多处于山大岭等远离城市的地方,若采用巡检人员实地勘察的巡检方式,不仅安全系数低成本还高。目前部分省市已逐步采用无人机拍摄获取巡检图像,但由于
区块链利用拜占庭容错协议以及密码学技术保证节点间数据一致性和不可篡改,在互不信任的多方间实现安全的数据共享,避免了数据伪造、丢失等问题。近年来,区块链广泛应用于各种存证场景并发挥重要作用,如司法鉴证、防伪溯源等。基于区块链的存证应用种类丰富,其过程可概括为证据上传、证据共享以及证据查询三阶段。然而,交易数据信息简单、语义表达能力弱,系统提供的接口单一且系统吞吐低,如何从功能与性能两个维度改进当前基
随着循环神经网络(Recurrent Neural Network,RNN)的应用更加广泛,对抗序列的存在给这类安全攸关应用构成了极大的威胁,其中包含自动驾驶行为预测模型。RNN对抗序列生成是一种提升RNN鲁棒性的方法,然而目前现有的RNN对抗序列生成方法普遍存在着低效的问题。因此,针对上述问题,围绕自动驾驶行为预测模型,提出了一种基于权重自动机(Weighted Finite Automaton
气象条件是人民日常生活和农业生产的重要影响因素,随着各类气象灾害的频繁出现,人民群众的生命财产安全受到了严重威胁。因此,气象监测和预测变得越来越重要。随着传感器技术和通信技术的进一步发展,气象监测从人工记录数据逐步转为自动化记录和管理数据。气象数据的准确监测是开展气象工作的基础,也是准确预测各种突发性灾害天气的依据。目前市场上的气象监测系统,往往存在网络化能力不高、自动化能力欠缺以及设备部署复杂等
序列推荐(Sequential Recommendation)根据用户的历史交互序列预测用户的下一次交互物品,由于序列中复杂的物品依赖以及用户的多方面兴趣,想要准确预测用户的下一次交互的物品十分困难。现有的工作将序列中的每一个交互物品视作一个兴趣单元,并应用了最新的深度学习技术来学习到用户兴趣的统一表示。虽然这些方法在实验中取得了较好的效果,但它们仍存在一些缺陷:1)一个向量不足以表示用户多方面的
呼吸状态可以反映一个人的生理和心理状况,有助于相关疾病的筛查诊断和预后评估。本文对非接触式呼吸状态评估方法展开研究。具体来说,利用视觉传感器进行呼吸信号提取,结合多种信号处理技术对原始信号进行处理,借助机器学习技术对呼吸状态进行分类,并以此为研究框架,搭建了两套非接触式呼吸监控设备,深度研究人体向前走动时识别深呼吸的方法。主要研究内容及创新如下:(1)搭建基于彩色相机和标志物追踪的呼吸监控系统,结
在大数据时代,数据已成为比肩石油的基础性关键战略资源,正在颠覆全球社会的发展模式。数据流通是释放数据价值的关键环节,数据交易系统的建立是促进数据流通的重要举措。数据交易系统帮助卖方数据流入买方,增加数据的流动性,帮助释放数据价值。随着《数据安全法》等相关文件的发布,全社会对于数据安全和数据隐私的需求越来越高,对传统的数据交易系统提出了保护数据隐私等新要求。目前的数据交易系统存在三个问题:1.二次转
以图结构表示的数据广泛存在于各类应用场景,大规模图分析挖掘需要利用分布式图处理系统。图处理算法一般都是迭代的,且执行时间长。在此过程中,系统中节点出现故障是常见的现象。通常,分布式图处理系统利用检查点来处理故障。在正常执行期间,系统需要周期性地写入检查点。特别地,在写入检查点时,一些系统会暂停计算过程,即阻塞式写检查点。显然,这种阻塞式写检查点方法带来了额外的运行时开销。与此不同,非阻塞式写检查点