【摘 要】
:
图像修复作为数字图像处理领域重要的组成部分有着悠久的历史,从早期文物修复到当前智能安防、文物壁画修复、遥感卫星、医学图像增强等领域,图像修复都有着广泛的应用。伴随着数字图像修复技术的研究与发展,图像修复方法大致分为三种:传统变分偏微分方程方法、利用纹理块的方法、深度学习的方法。传统方法在某些领域能产生不错的修复结果,但是也存在修复结果比较模糊、只能针对缺失区域较小的图像,不能对任意大小缺失区域进行
论文部分内容阅读
图像修复作为数字图像处理领域重要的组成部分有着悠久的历史,从早期文物修复到当前智能安防、文物壁画修复、遥感卫星、医学图像增强等领域,图像修复都有着广泛的应用。伴随着数字图像修复技术的研究与发展,图像修复方法大致分为三种:传统变分偏微分方程方法、利用纹理块的方法、深度学习的方法。传统方法在某些领域能产生不错的修复结果,但是也存在修复结果比较模糊、只能针对缺失区域较小的图像,不能对任意大小缺失区域进行修复的问题。当前深度学习相关技术在图像修复领域得到广泛利用,针对不用缺失类型、不同缺失大小的破损图像在修复细节和修复质量上都有不错提升,例如经典的编码解码图像修复模型。本文在两阶段编码解码网络基础上,提出带有多尺度结构嵌入和注意力机制的改进两阶段图像修复模型,而后针对改进的两阶段图像修复模型参数较多、层数较深,训练阶段生成对抗网络不稳定的问题进行改进。首先本文在两阶段编码解码的修复模型基础上,提出改进的两阶段图像修复模型。生成器由粗修复到细修复的两阶段修复网络构成,粗修复阶段为了增大卷积过程中的感受视野使用扩张卷积;在反卷积重建过程中为了获取更多结构信息生成更细致的纹理边界嵌入多尺度结构信息。细修复阶段使用上下并行的网络结构优化粗修复结果。一方面使用上下文注意力机制关注修复周边,更好的拟合纹理色彩等信息;另一方面使用扩张卷积增大感受野借用更多周边信息,提高破损修复修复质量。在训练的过程中为了使模型更加稳定易于控制使用WGAN-GP鉴别器,鉴别器由局部WGAN-GP鉴别器和全局鉴别器WGAN-GP组成。局部鉴别器用于判断修复结果是否与周边一致,提高修复边界质量。全局鉴别器用于判断修复图像与原图是否一致,提高修复图像在整体色彩结构上一致性和流畅性。为了评价模型的优劣,使用主观评测与客观评价相结合的方法对提出的改进模型修复效果进行验证。主观评测通过与GL、CA、EG三种模型修复的图像在视觉直观进行比较,验证模型修复效果的优越性。客观评价在相同数据集上对不同修复模型GL、CA、EG和本文方法,在PSNR、SSIM和平均L1损失三个指标上进行比较验证。其次,改进的两阶段图像修复模型对破损的图像虽然能够产生不错的修复效果,但是由于网络的稀疏性,模型结构相对较深,导致结构信息弱化甚至被遗忘,在融合结构和内容信息时出现扭曲模糊问题,因此产生较差的修复效果。针对两阶段图像修复模型存在的问题进行改进,提出基于结构嵌入的图像修复模型。生成阶段使用多任务框架在图像反卷积的过程中利用提取的结构信息进行重建。同时使用多尺度注意力机制,利用不同尺度的图像通道使用神经网络充分利用提取信息帮助生成纹理更清晰、结构更合适的修复图像。鉴别阶段为了提高训练稳定性,加快收敛,使用Patch-GAN鉴别器和预先训练固定的VGG-16网络进行结构生成学习和图像生成学习。为了获得高层结构信息并保证修复图像风格的一致,在训练过程中引入感知损失和风格损失提高修复图像质量。通过消融对比,分析改进模型中不同模块在修复过程中所起的作用,同时与其它模型在主观评价和客观的评价方法下验证改进模型的优劣。
其他文献
在自然界中,恐惧效应随处可见,恐惧不仅可以帮助生物提高警觉性,还可以帮助生物躲避危险,恐惧也是生物与生俱来的心理反应.同时恐惧也会对生物的繁殖能力、觅食行为、生理状态等造成一定的影响.这对于大型食肉动物消失带来的生态失衡问题提供了很好的解决思路.近年来,由于人类的过度控制,导致一些大型食肉动物面临灭绝的问题,食物链顶端的缺失会使生态系统的平衡遭到破坏,应该如何在短时间内调节生态平衡是人类面临的重大
无人机(Unmanned Aerial Vehicle,UAV)一方面可以作为辅助设备协助传统网络进行通信,提升网络性能;另一方面可以快速搭建无人机网络,为地面通信设施提供连接。然而,无人机的高移动性和能量受限等特点也为无人机辅助无线通信带来了诸多性能方面的挑战。根据特定应急场景的通信需求,本文研究了无人机辅助无线通信系统在自然灾害场景下的吞吐量最大化问题。无人机作为空中基站和移动中继辅助毁坏的地
近年来随着高速铁路技术的发展和完善,列控车载设备结构变得越来越复杂,使得故障种类存在多样化的特点。而传统的故障诊断方法依赖大量的专家知识和技术人员的维修经验,导致故障在诊断的过程中工作量加重无法进行及时有效的诊断,并且存在误诊和漏诊的现象。因此本文以历史故障数据文本做为研究对象,利用文本处理技术实现故障文本的词向量表示,然后采用神经网络模型来进行故障特征的提取以及故障诊断。本文具体研究内容包括:(
铁路安全是铁路运营保障体系中的关键内容,伴随着铁路规划和铁路网建设的不断推进,以及铁路营运时间的持续增加,钢轨表面缺陷以及扣件异常等轨道缺陷问题也逐渐突出,因此对这些缺陷进行及时准确的检测对于保障铁路运行安全意义重大。传统轨道缺陷检测算法训练过程复杂,且不具有泛化能力,不能满足当前复杂的铁路环境和检测场景的应用需求。基于机器视觉的轨道缺陷检测相较于传统方式,在检测速度和精度上都有较大提高,且算法可
我国经济仍在迅速发展,城市化建设及基础设施建设仍在不断加快,近年来的棚户区拆迁、老旧小区改造也在大力推行,城市面貌焕然一新的同时,阻碍其可持续发展的矛盾也日益显现,制约城市健康、可持续发展的其中一个主要矛盾就是--城市内涝。可以说一到雨季我国大部分城市都面临着在城市里“看海”的尴尬。因此,城市水利工程的进一步发展是势在必行的,换句话说,城市化高楼大厦的崛起不应忽略了基础设施的建设,市政道路、水利等
进入新时代,中国的城市轨道交通取得巨大的进步,轨道交通的规划、建设越来越受到各方的关注,但是建设地铁对城市人口、生产总值、公共预算收入等均有较高要求,中小城市在交通规划建设中对于适宜的轨道交通制式的选择,越来越倾向于中小运量轨道交通系统,如有轨电车,有轨电车在安全性、乘坐舒适、投资及运量等方面优势较为鲜明,有轨电车在中型城市乃至都市圈城市群发展中的作用和地位不断提升,成为破除中小运量发展的障碍的重
本文旨在研究乘积度量空间和模糊度量空间中的不动点问题.在乘积度量空间和具有三角完备的模糊度量空间中,通过满足适当的相应条件,在乘积度量空间中,得到在单映射下存在唯一的不动点和在多映射下存在唯一的公共不动点,和在具有三角完备的模糊度量空间中,得到了在单映射下存在唯一的不动点.本文的研究结果是新的,这些结论拓展和改进了之前国内外研究中的一些结果,本文共分为四个部分:首先介绍了不动点问题的选题背景和研究
随着现代化和自动化的发展,集成电路(Integrated Circuit)在系统的控制和运行中已成为一个至关重要的组成部分。近年来,半导体行业积极采用无晶圆厂芯片制造模式,即通过第三方供应商制造设计,攻击者会利用这个漏洞,在芯片中植入硬件木马,破坏芯片的安全。且这种方法植入方式具有隐蔽性和侵入性,因此很难保证制造的芯片产品是100%安全的。在此背景下,如何保障底层硬件的安全不遭受损害成为热点话题,