【摘 要】
:
随着机器学习和深度学习在图像处理领域取得了较大的突破和较好的效果,许多研究者开始将深度学习应用在图像处理的各个问题上,图像超分辨率重建就是其中一个经典的问题。如何将卷积神经网络应用在图像超分辨率重建上,使得重建出来的图像能具有较好的人眼观感、较丰富的细节和更接近真实图像的效果,是研究者所需要解决的重点。此外,当前的卷积神经网络进行超分辨率重建时所需要的重建时间和网络消耗的运算、存储资源都较大,不能
论文部分内容阅读
随着机器学习和深度学习在图像处理领域取得了较大的突破和较好的效果,许多研究者开始将深度学习应用在图像处理的各个问题上,图像超分辨率重建就是其中一个经典的问题。如何将卷积神经网络应用在图像超分辨率重建上,使得重建出来的图像能具有较好的人眼观感、较丰富的细节和更接近真实图像的效果,是研究者所需要解决的重点。此外,当前的卷积神经网络进行超分辨率重建时所需要的重建时间和网络消耗的运算、存储资源都较大,不能很好的应用在一些需要超分辨率的边缘设备和可穿戴设备上。为了解决上述问题,本文在研究分析了传统的基于深度学习的图像超分辨率重建算法。并且分析算法改进优劣,对传统算法进行优化。具体工作如下:(1)研究了基于卷积神经网络的图像超分辨率重建算法SRCNN(Super-Resolution Convolutional Neural Network),了解卷积神经网络在图像超分辨率重建过程中的重建过程及卷积神经网络的基础理论。之后,在此基础上,对基于SRCNN的几种改进算法FSRCNN(Fast Super-Resolution Convolutional Neural Network)、ESPCN(Efficient Sub-Pixel Convolutional Neural Network)、DRCN(Deeply-Recursive Convolutional Network)和DRRN(Deep Recursive Residual Network)进行讨论分析,研究每种算法的改进方向及对超分辨率重建图像的影响。在此基础上,总结分析影响超分辨率重建图像的重建效果的因素,并在这些网络的基础上,提出改进的卷积神经网络——HVSR(Horizontal and Vertical Super-Resolution)网络,在卷积核的形状结构、卷积层的设计和网络整体结构、激活函数等方面都做出一定的改进或者优化。通过对卷积神经网络进行改进,解决了超分辨率重建图像物体边缘模糊、重建后锯齿化严重等问题。最后,在4倍放大倍数的条件下通过对几种算法的仿真和对比,证明HVSR网络所重建的图像具有较好的人眼观感,在测试集上的峰值信噪比平均提升了约0.3d B。网络的重建时间平均只比最快的SRCNN网络慢了0.04s,同时在训练过程中也能较快的捕捉到图像特征,使训练周期缩短,在40个周期后能够达到较好的性能,体现出本文所提出网络具有一定的优异性。(2)对卷积神经网络在进行图像超分辨率过程中的重建速度慢、网络参数数目多和计算资源消耗大的问题,本文在研究了卷积神经网络轻量化理论的基础上,对HVSR网络进行了轻量化的优化,设计出HVSR_LIGHT网络。HVSR_LIGHT网络通过Grouped Convolution、Depthwise Convolution等方式对HVSR网络进行优化,将原有网络的存储资源和卷积时的计算量进一步减小。此外,利用分组卷积和跳跃连接的思想,设计出一种新的网络——分组跳跃网络,该网络能够在不增加网络参数数目的情况下增加网络的深度。通过对比试验证明,HVSR_LIGHT相比于HVSR在重建图像质量方面并没有明显的降低,重建图像所产生的人眼观感没有明显区别,证明HVSR_LIGHT网络达到了对HVSR网络轻量化的目的。此外,分组卷积网络也在传统网络的基础上也有提高。通过轻量化处理,HVSR_LIGHT网络更加适合部署在边缘设备和可穿戴设备上。本文所采用的图像重建质量评判标准,是图像超分辨率重建领域广泛使用和普遍接纳的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(Structural Similarity,SSIM),通过对不同网络所重建出来的图像进行统一的评判来验证本文所提出的网络的重建性能。图像超分辨率重建时采用的数据集是该问题中普遍使用的通用数据集Set5和Set14,通过观察重建图像的客观指标和图像效果对卷积神经网络的效果进行评判。
其他文献
近年来,FPGA被广泛用于各个领域,也使得其安全问题变得越来越重要。当前,硬件木马是一种对FPGA有很大威胁的攻击方式,其具备高隐蔽性,强破坏力的特点,在硬件正常工作或者电路出厂测试时都不会被激活,只有在特定条件下才会生效。而其一旦生效,则会破坏用户的电路或者窃取电路中的信息。目前对硬件木马较为有效的检测方式是对网表或RTL代码进行分析,但是对于大部分使用者而言,一般只能接触到比特流文件,想要检测
铁路事业在我国经济建设过程中发挥着重要的作用,传统的货运铁路仍需大量人力资源的投入,而随着计算机视觉的发展,该部分的可优化空间正逐步增加。本文通过针对货运列车定点停车需求的分析,发现该需求可以由计算机视觉中的目标检测技术实现。然而由于实际场景中目标物体会因光照、角度、磨损等因素影响而难以辨认,因此目标检测目前仍是一个颇具有挑战性的任务。而如何设计能够迅速,准确且泛用的特征也成为了该领域的研究重点。
伴随着现代工业生产规模的不断扩大,工业生产已经进入了大数据时代,在日常的工业生产流程中,每一个作业环节都会产生许多需要记录的生产数据值,以此作为衡量产品是否合格的标准。对于许多机器较为陈旧的工厂而言,其设备并不具备相应的数据接口,大多数时候都必须依靠人工识别手动抄录的方式来完成对生产数据的记录,这样高度重复枯燥乏味的工作无疑是对人力资源一种极大的浪费,使得工厂的生产效率大打折扣。为解决这一问题,迫
监察体制改革下对于高校公权力行使者如何监督,学界知之甚少。高等教育领域的公权力监督问题似乎一直游离在人们的视野边缘,尽管实践中已然设立了对高校公权力行使进行监督的相关部门和机构。不仅学界对这一问题关注较少且所提建议有如隔靴搔痒,不得要领,实务人士也或不能很好描述这一实践图景,或基于各种原因而三缄其口。随着国家《监察法》颁布,各级监察委员会有序运转,国家监察体系总体框架初步建成,监察体制改革进入面向
目前,互联网处处都有推荐系统的身影,如电商、新闻、短视频等等。信息过载情况下,推荐系统能快速从商品库中筛选出用户可能感兴趣的商品,不仅帮助用户高效获取信息,还能提高商家的收益。推荐系统已经成为互联网应用中的核心技术之一,也是推动互联网增长的强劲引擎。本文从推荐系统应用场景中的几个普遍存在的实际问题出发,提出了一些新的思想与算法。具体内容如下:(1)首先,在推荐系统中,常常为每个用户计算一个嵌入向量
随着通信方式与场景越来越复杂,对微波信号的性能提出了更高的要求。微波振荡器是产生微波信号源的重要器件,其性能好坏将直接影响无线系统的各项性能指标和传输性能。本文针对振荡器的相位噪声性能开展深入研究,基于相位噪声理论模型,探索新型选频网络拓扑结构并应用到反馈式振荡器之中,相位噪声性能皆超过国内外文献所报道的同类器件水平。主要研究工作包括以下三方面:1、提出了一种基于源/负载耦合选频网络的单端新型振荡
我国是一个农业大国,“三农”问题关乎国计民生。十九大上提出乡村振兴,这是着眼于解决“三农”问题的重要战略部署,是针对我国不平衡不充分发展现状做出的重大举措,是实现农村全面、长效发展的有力措施。乡村振兴是全方面振兴,意味着乡村中的文化、政治、经济、社会、生态文明和党的建设都要实现振兴。农民是新时代乡村振兴的主力军之一,农民拥有着参差不齐的生态意识,农民是否拥有良好的生态意识关乎农民身心健康,关乎农村
2D人体姿态估计是计算机视觉中的基础但是又具有挑战性的问题。姿态估计的目的是定位出人体的二维平面的关键关节点的坐标(例如:头部,肩膀,脚踝等等)。它有非常多的运用,例如:行为识别、游戏娱乐、电影姿态捕捉、人再识别等等。人体姿态估计是一个早在上个世纪70年代就开始研究的课题,但是人体姿态估计一直难以达到可以应用的水平。随着大规模数据集Image Net以及卷积神经网络Alex Net等的兴起,卷积神
近年来,随着计算机图形学和计算机视觉技术的发展,虚拟现实技术(Virtual Reality,VR)在动画制作领域、游戏领域、影视领域的应用日渐广泛,写实风格的三维人脸模型也更多地出现在上述领域中。三维人脸模型一般由美术人员手工制作,制作过程繁琐且耗时。为了高效快速地建立写实的三维人脸模型,基于单幅照片(Single-View image)的三维人脸重建技术成为了热门的研究课题。现阶段主流的人脸重
分置天线多输入多输出(Multiple-Input Multiple-Output,MIMO)雷达的发射接收天线空间间隔较远,拥有传统雷达不具备的波形分集增益和空间分集增益,可以显著提高雷达的目标检测以及参数估计等系统性能,因此引起了广泛的关注和研究。传统的雷达目标参数估计算法计算复杂度高且不可控,在复杂多变的实际环境中,根据实时接收数据自适应估计参数的性能也是有限的。深度学习具有强大的实时处理数