基于运动估计的视频去噪算法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:lgs0519
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
尽管图像传感器技术近年来飞速发展,但视频信号在获取或传输过程中经常遭受多种类型噪声的影响,产生令人不快的视觉效果,并影响后续的视频分析领域。与静态图像数据相比,视频数据具有显著的时间冗余性,能够静态图像数据提供更丰富的场景内容。因此,相比于图像去噪而言,视频去噪中所能利用的信息更多。尽管视频去噪算法在近年来取得很大进展,但总体来看存在以下两个突出问题:1.噪声视频中的光流场估计不准确。视频去噪的效果,首先依赖于光流估计的精度。利用光流信息,可以对不同的视频帧进行校准,然后在此基础上应用去噪算法进一步消除噪声。然而,传统的光流估计方法往往存在边界不清晰、对时间连续性信息利用不好和对噪声不够鲁棒的问题,不能满足视频去噪的要求;2.大多数现有的视频去噪算法假设视频噪声是加性高斯白噪声,而这些算法往往不能处理现实中的混合噪声。在实际的噪声环境中,往往同时包含高斯、泊松和脉冲噪声,需要设计更加合理的模型来处理混合噪声。针对现有的视频去噪算法中存在的运动估计不准确、去噪效果欠佳的问题,本课题先首先研究噪声鲁棒的光流估计方法,然后在此基础上进一步提出新型去噪算法。本文的研究成果包括:(1)提出了一种基于运动边界检测的两帧光流滤波方法。首先设计了一种基于深度网络的运动边界检测模型,该模型以源图像、初始光流及其对应的图像变换误差作为输入,产生高分辨率运动边界。运动边界检测模型的网络架构为编解码网络,其中解码网络采用多个子网络的级联结构,同时加入残差连接实现梯度的快速传播,使得端到端训练可以更加高效地进行。该网络能够探索多层次的图像和运动特征,并且对初始光流估计的误差具有较好的鲁棒性。在运动边界检测的基础上,设计了一种运动边界与光流的融合网络,用所获得的运动边界引导初始光流的滤波,进一步去除初始光流结果中的噪声,同时使最终的光流边界更加清晰。(2)提出了一种基于低秩稀疏优化的多帧光流估计方法。该方法充分利用视频图像序列的上下文时域连续性,以及多帧光流的低秩性和运动目标的稀疏性等特点,在噪声视频中进行多帧光流估计。在传统方法基础上,加入对噪声鲁棒的新型改进,提出针对噪声环境的多帧光流求解目标函数,该模型包括颜色一致项、轨迹低秩项、保护边缘的平滑性惩罚项、运动目标稀疏项和噪声鲁棒连接项,能够有效对噪声环境下的多帧光流进行建模。采用基于低秩稀疏的凸优化理论对模型进行求解,将多帧光流估计模型的求解过程分解成两个迭代进行的子问题。多帧光流估计的对比实验表明,所提出的算法在定性和定量方面都能获得更好的效果。(3)提出了一种基于低秩稀疏优化的视频去噪方法,用于去除视频数据中的混合高斯、泊松和脉冲噪声。首先在前面两章光流估计的基础上,进行噪声鲁棒的相似图像块分组,然后将混合噪声视频去噪问题转化为鲁棒的低秩和稀疏最小化问题。在该框架中,设计并嵌入有效的混合噪声先验,用于处理混合噪声中的高斯-泊松噪声分量。实验表明所提出的视频去噪方法取得了令人满意的性能,能够在混合高斯-泊松-脉冲噪声环境下有效去除视频噪声,并且在定性和定量上均优于以前的方法。(4)提出了基于多尺度递归残差网络的视频去噪方法。首先基于第二章和第三章的光流估计方法,应用第四章中所述图像块匹配策略,把输入视频帧图像校准到参考帧空间下。然后通过端到端的训练方式获得去噪模型,用于对混合噪声环境下的视频图像进行去噪。所提出的多尺度递归残差网络,通过多尺度网络架构同时从全局和局部层面分别学习噪声视频图像的概略和细节特征。然后将残差结构与递归结构相结合,对递归残差网络单元进行堆叠,形成每个分辨率层次的子网络结构。在所提出的递归残差单元中,内部残差结构共享相同的输入,同时输入和输出之间存在多条路径,有利于学习更加复杂的特征。为了适应混合噪声环境,设计了一种多尺度L1-L2范数损失函数,用来监督整个网络的训练过程。
其他文献
公共关系学可以为处于舆情危机之中的高校:理顺工作思路;构建出整合的公关管理与传播体系;通过各级、各类媒介传播树立良好的公众形象,从而使得作为主体的高校在争取内、外部
采用宽禁带半导体功率管进行超宽带大功率放大器设计。在仿真优化的基础上,进行了设计投产。经过调试,最终测试结果表明,在工作频率范围0.8—2GHz范围内,恒定输入功率41dBm的条件
我国不仅是人口大国,同时是个人护理用品(Pharmaceuticals and Personal Care Products,PPCPs)的生产与使用大国。但大部分的PPCPs被消费后,并没有被完全消耗,而是转移到水环境中,虽然含量在ng/Lug/L的数量级,但其对水生环境及人类的影响已经引起广泛关注。本文针对传统污水处理厂对PPCPs类新兴有机污染物去除效果不佳的问题,基于电场与微生物的协同作用
当今互联网以飞速的脚步进入人们的视野,P2P(全称Peer to Peer)网贷业务平台也随之而来,网贷平台能够帮助借款人迅速筹资,同时也能使得投资者获取较高的收益,这种交易模式吸
目的 :探究用重睑成形术治疗上睑皮肤松弛伴上睑内翻的效果。方法 :选取2016年3月至2017年6月期间在石家庄爱尔眼科医院接受治疗的96例(124眼)上睑皮肤松弛伴上睑内翻患者作为研