近年来,随着传感器技术的发展,多模态多光谱图像配准和多光谱图像融合技术已成为一个非常活跃的研究领域。多模态多光谱图像在多光谱成像系统中经常存在的未配准的问题,如闪光图像和非闪光图像、RGB图像和近红外(NIR)图像对、深度图像和颜色图像等。在计算机视觉中,已有的许多多光谱融合方法都假设输入图像已经被很好的配准了,使得多模态和多光谱图像不适合直接用于图像融合。现有的图像配准方法可分为基于强度的配准方法、基于特征的配准方法以及基于强度和基于特征联合的配准方法。基于特征的方法依赖于从图像中提取不同结构的特征,如点、线或区域。基于强度的方法通过相关度量比较图像对中的强度模式。图像配准的一个重要组成部分是相似度的计算。计算相似度的一些方法被提出了,如互信息法。多光谱图像融合是从同一场景中不同的传感器获取多光谱图像,通过多光谱图像融合技术获得一幅高质量的融合图像。多光谱融合为在遥感、现代军事和医学图像诊断等多种应用中生成高质量的照片提供了一个可行的解决方案。RGB与近红外(NIR)图像的多光谱融合技术被广泛应用于视频监控的图增强,包括目标检测和目标识别。图像融合是一个很难处理的问题。第一个问题是如何从多光谱图像中保存准确的信息。许多方法被提出了,这些方法包括主成分分析、小波分析、强度色度饱和度及其组合方法。在前人研究的基础上,本文主要研究多模多光谱图像配准和多光谱融合的问题。本文的主要贡献如下:1.我们提出了一种基于动态融合指数的多模态多光谱图像配准方法。动态融合指数表示了两对图像的融合程度,并将其用于图像配准。此外,自适应权值表示对图像结构特征的置信度,利用自适应权值选择对图像的可靠部分计算并进行配准。在自适应权值的基础上,提出了自适应加权总变分方法计算未配准图像与参考图像之间的相似度。在自适应加权总变分框架中,首先通过固定变换参数得到动态融合指数,然后通过固定动态融合指标估计变换参数。最后,通过迭代直到收敛确定图像配准的变换参数,并在此基础上对目标图像进行配准。实验结果表明,该方法在视觉质量和定量测量方面均优于现有的配准方法。2.我们提出使用自适应加权总变分融合彩色(RGB)和近红外(NIR)图像的多光谱融合方法。RGB图像具有优点是保留了颜色信息,然而有严重的噪声,而近红外图像的优点是即使在低光照条件下也具有清晰纹理信息。在融合中,我们采用自适应权重总变分来保留多光谱图像各自的优点。我们去除由RGB和NIR图像之间梯度不匹配引起的估计异常值,使融合图像自然而没有色差。由于近红外成像取决于近红外光强度,因此在近红外光可以达到的范围之外的近红外信息是不可靠的。因此,基于Sigmoid函数,我们根据近红外像素值选择性地进行总变分正则化。如果近红外信息是可靠的,我们在近红外图像的引导下进行多光谱融合。如果近红外像素值不可靠(比如很低或者是0),我们仅执行总变分正则化以在RGB图像上去噪,而无需近红外梯度转移。而优化求解,我们使用迭代加权最小二乘法将非凸总变分的优化问题转换为几个相应的线性系统。所提出的方法成功地将近红外细节转移到融合结果中,同时保持RGB原有的颜色信息并去除噪声,即使对于近红外信息不可靠的地方,所提方法也可以得到自然的融合结果。实验结果表明,所提出的方法在视觉质量和定量测量方面优于现有技术的融合方法。