为了使无人机克服夜间、雨雾等恶劣天气或目标伪装等场景造成的误判,达到全天候监控的目的,实现“配准、融合、识别跟踪”的一体化目标,本文结合可见光和红外两种模态的图像或视频进行处理分析,并完成了较为关键的多模态视频流的配准过程。本文的主要内容包括多模态图像配准和多模态视频流配准的算法实现以及在无人机系统上的验证结果。本文的主要创新点和主要贡献包括以下三点:(1)提出并实现“DCE+LSS”的高精度多模态图像配准算法。研究分析在静态图像上提取目标轮廓的DCE演化算法,并对演化过程的终止条件进行改进,达到自动终止演化的效果。利用DCE演化得到的轮廓,采用全新的LSS特征描述子对每个轮廓点进行20?4维向量的描述,并将LSS描述子转化到对数极坐标中进行表示,以增强描述子对图像局部形变的容忍性,完成多模态图像的配准。(2)提出并实现结合时间、空间信息的视频前景提取算法。在“DCE+LSS”的多模态图像配准算法的基础上,深入分析多模态视频流帧间的相关性,利用基于目标运动的背景建模方法提取多模态视频流中的目标(本文中记为前景)。该算法在本文中记为背景特征法(Background Features-method,BFs-method),该算法不仅改善了单独使用LBSP的背景建模算法造成的前景含有“空洞”的缺陷,还在一定程度上解决了目标前景提取过程中的“鬼影”现象。(3)实现无人机上多模态视频流的配准及优化。在BFs-method算法得到前景的基础上,进行多模态视频流的配准。首先对前景中的轮廓点进行基于像素级别的形状上下文描述,然后引入卡方检测和匈牙利算法,得到一个临时的全局配对点集合,本文改进了视频配准过程中缓冲池里匹配点对先进先出的更新策略,建立了全新的打分机制,对缓冲池中的匹配点对进行打分,由得分结果决定缓冲池中点对的更新,同时利用最小错误覆盖率逐步优化单应性变化矩阵,最终得到全局最优单应性变化矩阵,完成多模态视频流的配准。