视频跟踪也称目标跟踪,即在特定视频序列中,持续有效地获取特定目标的时序信息,是计算机视觉研究领域中一个重要且基础性的研究课题,也是智能视频监控的关键与核心技术。近年来,视觉跟踪已经取得了许多突破,出现了许多基于不同理论框架的跟踪算法,这些算法在时间和精度两个方面都显著提升了目标跟踪的性能。同时,许多标准的包含复杂挑战因素的目标跟踪数据集被公开,用于对不同的目标跟踪算法做性能评估,这些工作奠定了视觉跟踪在理论和应用上的基础。虽然这些跟踪算法已经取得了良好的跟踪效果,但在许多复杂的环境或极端条件下其算法鲁棒性仍有待提高,如低光照、局部遮挡、严重雾霾等。为了克服上述问题,本文通过引入热红外信息来弥补可见光信息的缺陷,即利用可见光(RGB)模态和热红外(T)模态信息间的互补性,有效提高在复杂条件下的目标跟踪性能。本论文的主要工作和贡献如下:(1)在目标跟踪方面,为了解决基于检测的跟踪框架中目标漂移的问题,我们提出了基于吸收马尔科夫模型的目标跟踪算法,该方法主要是在结构化SVM跟踪框架下,基于图像块加权信息融合表示方法实现,减弱了背景噪声对分类器的影响。传统的加权信息融合表示方法指的是先把目标矩形框划分成多个均匀非重叠的小图像块。其次,以半监督的方式为每个图像块分配一个权重,来表示该图像块在表达目标上的重要性,即权重越大,该图像块表示目标的可能性越大,反之亦然。再者,本文利用了吸收马尔科夫可以综合考虑目标对象的外观差异和空间分布以及背景信息的特点,在具有吸收马尔科夫性质的图结构上,对图像块的初始权重进行传播。同时,考虑到初始种子点可能含有噪声,提出种子点优化算法对初始种子点进行筛选,避免含噪声的种子点对正确结果的影响。最后,将学习的权重融入到基于SVM的跟踪算法中,提高算法的稳定性。在公开可用的基准数据集上的实验表明,所提出的算法具有良好的性能。(2)在多模态目标跟踪数据集方面,由于当前公开的多模态数据集,如OSU-CT、LITIV等,其存在场景单一、挑战因素较少、视频总帧数较少等缺点,这对于多模态目标跟踪是不公平的。为了更有效地评估各种多模态目标跟踪算法,我们建立了一个统一的RGB-T多模态目标追踪数据集。与现有的数据集相比,新构建的数据集具有以下优点:1)对于大规模性能评估(总帧数:210K,每个视频对的最大帧数:8K),其规模足够大,挑战场景比较丰富。2)RGB-T视频对之间的对齐非常准确,具有很高的配准性,不需要预处理和后处理等额外操作。3)为了分析不同程度的遮挡敏感性能,标注了遮挡程度等级,数据集还包括低光照、背景杂乱、尺度变化和运动模糊等复杂变化的挑战因素。(3)在多模态目标跟踪方面,我们提出了一种称为加权稀疏表示正则化图学习的新型图模型,用于学习使用RGB可见光和热红外多光谱数据进行多模态目标跟踪的鲁棒目标表示。具体来说,被跟踪的对象用具有图像块作为节点的图来表示,图中边表示相连的两图像块之间亲和性关系,该图模型是从两个方面动态学习的。首先,基于加权稀疏表示模型来优化表示两个相邻节点的外观兼容性的图亲和度,亲和度矩阵包含了图的结构和边的权重信息,其中,引入了模态权重以自适应融合不同的模态。其次,每个节点的权重是随着图的亲和度矩阵从其它节点传播计算而得的,表明它属于前景的可能性。然后对所提取的可见光和热红外特征进行加权融合优化,得到鲁棒表示的目标特征,最后采用结构化SVM算法对目标对象进行定位,从而实现稳健地多模态跟踪。我们在公共和新创建的多模态数据集上均取得较好的实验结果,这证明了所提出的多模态跟踪算法的有效性以及相对于当前几种先进跟踪方法的优越性。