红外与可见光图像融合技术一直是图像融合领域研究热点之一。红外图像反映物体热辐射信息,对隐藏目标具有较强的指示特性。将其与分辨率高、场景纹理清晰的可见光图像融合,能够突出目标同时保持背景细节,有利于系统全天候工作,实现目标检测、跟踪、监控等任务。传统的红外与可见光图像融合方法发展较早,应用广泛。图像融合时,变换方式虽灵活,但活动水平测量及融合规则仍需人工手动设置,实现相对困难且模型不易调整。近年来,深度学习逐步应用到红外与可见光图像融合领域并取得较好效果。通过训练多层、深度神经网络学习数据间复杂关系,在损失函数约束下,能够自动提取图像特征信息后融合,实现更为简洁、智能化,且模型易于调整,适应性强。红外与可见光图像数据集中源图像较少,且没有标准的融合参考图像。目前应用的几种深度学习融合方法,大多需要在其他可见光数据集上进行预训练,且训练与测试模型不完全一致,无法实现输入源图像到输出源图像的端到端直接映射。这些有监督网络实现过程较复杂,且由于红外与可见光源图像并未参与网络训练,得到的融合模型泛化能力较差。针对上述相关问题,本文从无监督深度学习融合角度出发,在对原始数据集扩增基础上,提出并设计了两种端到端融合模型,无需预训练,且融合效率及质量得到提升,实验证明提出的模型方法具有较好的融合效果。本文的主要研究内容可以总结为以下六个方面:(1)系统地介绍了深度学习中常用的网络模型的组成及特性,包括卷积神经网络(CNN)、残差网络(ResNet)、密集连接网络(DenseNet)及生成对抗网络(GAN)。对深度神经网络训练中卷积、池化、损失函数、反向传播等定义进行说明。对基于上述网络的融合方法以及传统的融合方法进行阐述,为本文相关研究的展开奠定基础。(2)提出并实现基于无监督卷积神经网络的红外与可见光图像融合模型。网络结构的设计对于融合实现十分重要。该方法中将DenseNet引入作为特征提取与传递子网络,充分利用每一层特征并将其通道连接后用于融合图像的特征重建,保证解码输出的融合图像包含源图像多尺度、多层次特征。源图像中显著目标及细节内容信息均得到有效保留,图像质量得到提升。(3)研究如何利用感知损失约束红外与可见光图像融合的训练过程。感知损失通过减小感知网络提取的真实图像与生成图像的高层特征之间的差异,能够使得生成图像不断优化并靠近目标图像,在超分辨重构及图像风格迁移中效果较好。将其应用于约束源图像与融合图像之间感知特征的差异,可使得融合图像包含越来越多的源图像信息,且更易于人类视觉系统观察,视觉效果较好。(4)改进并实现基于生成对抗网络及残差网络的融合模型。通过生成器生成包含红外强度与可见梯度信息的融合图像,可见光图像的其他细节信息通过判别器逐步添加到融合图像中。原融合模型中生成器模型与损失函数较简单,在本文中,将残差网络作为生成器网络中特征提取器,结合额外的跳跃连接,保证前层特征得以保留且学习到的残差信息有助于融合图像的建立;将结构相似性损失引入,对融合图像与源图像在整体结构上进行约束,源图像结构特性保留较多。(5)图像融合的实验验证。在GPU平台上搭建实验环境,在TensorFlow框架下基于Python语言编码实现网络结构搭建、损失函数设计及整个训练与测试过程。分别通过主观及客观评价将本文两种方法测试结果与传统方法比较,验证方法的可行性。同时,对每个模型中关键设计进行独立分析,验证其有效性。(6)对本文方法的融合结果进行客观综合评价。介绍主观及客观评价方法定义,针对部分常用客观评价指标详细描述。在参考其他评价体系及客观评价指标准确性量化结果的基础上,从融合图像本身及融合图像与源图像关联性两方面建立本文的客观综合评价体系。通过MATLAB软件对本文方法及其他7种传统与深度学习方法融合结果进行指标评价,对比分析本文方法的融合效果。