论文部分内容阅读
图像融合是将多个传感器对同一场景或目标所获取的多幅源图像中的互补信息综合处理,融合生成复合图像的技术。融合图像集中了各张源图像中所包含的有效信息,因此比单一源图像的信息更加全面,也更加准确和稳定。常见的变换域融合方法将各张源图像转变为变换域系数,再融合各张源图像的对应变换域系数,最后对融合系数进行逆变换得到融合图像。变换域方法被广泛应用,其优点在于能够较好地获取图像中不同尺度的细节,然而这类方法的普遍问题是融合图像的对比度和灰度信息会发生偏差,甚至影响融合结果对源图像有效信息的保留。相比之下,空间域方法能够直接处理像素信息,从而保留源图像各个尺度的细节而不必受限于多尺度分解的有限尺度,同时避免了多尺度变换较大的计算负担。融合的目标不是对源图像中的互补信息进行简单的综合,而是通过一定的融合规则对源图像的互补特征加以精细的整合。许多图像融合算法虽然都能够在客观评价指标方面有很好的表现,然而由于不同特征间的边缘衔接处理不好造成像素灰度值突变,融合图像中目标边界看起来常常会显得不够自然,严重的甚至会出现“块效应”。针对上述问题,本文基于对空间域图像融合技术的研究,提出了一种空间域的结构感知图像融合框架(Structure-aware Image Fusion,SAIF)。首先,针对大尺度结构轮廓信息的提取,开发了显著结构提取模块(Salient Structure Extraction,SSE)。在该模块中,为了平滑噪声并消除小尺度纹理,引入L2正则化参数将局部维纳滤波器予以改进,对源图像进行预处理;同时,利用前向差分法实现图像的离散梯度,并以梯度模值作为显著衡量;接着,为了得到表征大尺度结构的初始权值图,通过显著衡量比较,并利用均值滤波器处理后得到决策图,再将决策图进行二值化操作获取显著结构图,它代表了源图像中具有最突出特征的像素点。SSE模块对源图像大尺度结构边缘特征提取效果显著,算法复杂度低,运算效率高。接下来,针对源图像大尺度结构边缘细节转移的问题,在总结两种典型的保边滤波器,即引导滤波器和双边滤波器的特点和共性的基础上,定义了一种联合滤波器,并基于联合滤波器保边平滑滤波与对显著结构边缘细节信息恢复的特性,开发了能够实现结构保持的迭代联合滤波器(Iterative Joint Filter,IJF),将引导图中主要结构边缘的细节转移到显著图中,对显著结构提取模块中得到的初始融合权值图进行优化,使之与源图像的边缘特征更加匹配,得到的融合图像不同区域过渡的视觉效果更为自然,更符合人眼感知。最后,利用权值图对源图像进行加权求和得到最终融合结果,并且将算法推广到多张源图像融合的场景中。本文提出的空间域结构感知图像融合框架被证明融合视觉效果自然,计算效率高,运算速度快,适用于不同类型的图像融合场景中,并可以完成多张源图像的融合,是一种比一般图像融合算法用途更加广泛的新的通用框架。该框架克服了传统变换域图像融合算法复杂度高,运算效率低的缺点,解决了图像融合算法中常见的由于对不同区域之间边缘过渡衔接处理不好而产生的视觉效果不自然的问题。为了验证本文提出方法的有效性和优越性,我们使用了三种类型的图像与其他五种典型的图像融合方法进行了两张输入源图像和多张输入源图像的融合对比实验,通过从主观和客观两个评价角度给出的定性与定量分析表明,本文提出SAIF框架的最终融合图像边缘衔接更加自然,避免了晕影、视觉伪影和像素突变等问题的发生,在对比算法中具有最好的视觉效果,客观评价指标最高,算法运行时间最短,对不同类型的图像均能达到很好的融合效果,证实了本算法融合质量与融合效率的优势。