论文部分内容阅读
随着以“智能、安全”为核心的煤炭精准开采理念的提出,煤炭工业正在由体力劳动者的自动化向知识工作者的自动化转变。高清晰度和低时延的井下场景重现已成为煤炭精准开采所要解决的重要问题之一。由于粉尘、光照等特殊环境因素以及视频硬件设备的限制,井下图像普遍存在分辨率低、视觉效果差等问题,严重影响井下场景细节信息的获取与利用。超分辨率重建技术能够提高矿井图像分辨率,恢复丢失信息,在煤矿智能开采、无人巡检等任务中发挥重要作用。本文主要针对矿井图像的超分辨率重建问题进行研究,在研究基于卷积神经网络的超分辨率重建算法的基础上,结合残差网络结构及图像不同频率分量的重建过程构建反馈残差网络模块,提出两种基于反馈残差网络的矿井图像超分辨率重建模型,主要工作和创新如下:(1)针对基于卷积神经网络的超分辨率重建算法存在的参数数量大,在重建模糊和边缘特征较弱的矿井图像时边缘细节信息丢失的问题,提出一种基于边缘指导的双通道反馈残差网络重建算法。该算法结合矿井图像的特点,将采用相位一致性方法提取的低分辨率边缘特征与原始低分辨率图像共同作为网络的输入,指导矿井图像边缘细节的重建;通过局部和全局残差学习相结合的方式,减轻网络训练过程中携带信息的负担,降低训练难度;并采用递归策略在增加网络深度的同时保持参数数量不变;引入边缘误差和重建误差构建多任务损失函数,优化网络模型参数。通过实验证明,与其他基于深度卷积神经网络的重建算法相比,该算法能够更好地恢复矿井图像的边缘特征,提升重建性能,并且减少了网络参数数量,降低训练难度。(2)针对一些基于卷积神经网络的超分辨率重建算法存在的将低分辨率图像输入网络前需要进行插值预处理并且对不同重建倍数需要训练不同网络的问题,提出一种基于亚像素卷积的多尺度反馈残差网络重建模型。该模型利用低频信息的冗余性在网络前端设置多尺度预处理模块,将反馈残差模块应用到不同放大倍数的训练网络中;在网络末端引入亚像素卷积层代替输入图像预处理步骤,同时,采用PReLU激活函数和1l损失函数增加网络收敛速度,提升网络重建性能。通过实验证明,该网络能够在保证良好重建效果的同时,进一步缩短矿井图像重建时间,并通过多尺度重建提高网络适用性。