图像融合提供了一种增强和组合像素级数据的有效方法,与单个输入源数据相比,该方法为人类感知提供了高信息量的数据。红外与可见光图像融合技术充分利用不同传感器获得的不同图像特征,在融合过程中保留源图像的互补信息,提高融合图像的可信度。将红外图像与分辨率高、场景纹理清晰的可见光图像进行融合处理,生成一幅目标特征显著纹理清晰的融合图像,在生产生活中具有广泛的应用。本文在已有的红外与可见光图像融合方法的基础上,将深度学习引入图像融合领域,在以下两个方面进行了探索与研究工作:（1）针对基于非学习型图像融合方法不能深度提取图像特征这一缺陷,研究了一种多尺度滚动导向滤波和固定深度预训练残差网络的红外与可见光图像融合方法。利用滚动导向滤波对图像进行多尺度分解,将源图像分为基础层和细节层。与传统多尺度分解方法相比,该方法具有保留特定尺度信息和减少边缘光晕的独特特性。利用残差网络从源图像获取深度特征,通过1l范数和平滑操作得到初始权重图,利用softmax算法得到最终权重图,对基础层图像进行加权融合。采用系数绝对值取大融合规则获取细节图像的初始决策图,然后对其进行高斯滤波处理,得到优化决策图,对细节图像进行加权融合,最后通过多尺度逆变换得到融合图像,实验从主观和客观两方面评价证明该算法达到了良好的融合效果。（2）针对固定深度预训练残差网络虽然能够深度提取图像特征信息,由于固定网络训练采用的是自然图像集,在提取红外与可见光图像特征时并不一定是最优这一缺陷,本文研究了一种多尺度方向局部极值分解域内基于相似性学习的孪生网络红外与可见光图像融合方法。通过局部极值滤波与非下采样方向滤波器组结合对源图像进行多尺度多方向分解,得到基础层图像和细节层图像。利用预训练结构初始化孪生卷积神经网络,采用转移学习的方式进行基于互相关的相似度度量学习,将多尺度方向局部极值分解的细节系数作为训练数据集,获取最佳网络参数。基础层图像利用源图像的视觉显著性映射作为权重图进行加权融合。细节层图像经过孪生卷积神经网络提取特征映射图,然后计算细节层图像与特征图的加权归一化互相关系数,将其作为权重图加权融合细节层图像。最后通过多尺度逆变换得到融合图像。实验结果表明,该算法的主客观评价结果相较于经典方法均为最优。