RGBT目标跟踪是指通过结合可见光（RGB）和热红外（T）视频数据进行目标跟踪的新兴热点研究课题。多年来,基于单模态的目标跟踪技术取得重要突破,但是该类算法在面对一些较为复杂的场景或者极端条件下仍旧难以发挥良好的性能,例如光照不足、恶劣天气、背景杂乱和目标遮挡等。由于热红外成像能够很好克服上述挑战因素的影响,弥补可见光成像的不足,而可见光图像可以补充热红外成像中丢失的颜色和细节信息,因此,合理利用可见光和热红外图像的互补性对于跟踪性能的提升具有重要意义。近年来,研究人员提出了基于稀疏表示、相关滤波、动态图等传统视觉模型的RGBT目标跟踪方法,但在精度和速度上要弱于基于深度学习的RGBT目标跟踪方法。因此,本文基于深度学习技术,围绕多模态特征的鲁棒学习展开研究,主要工作包含以下两个方面:第一,提出了基于深度自适应融合网络的高性能RGBT目标跟踪方法。目前,基于深度学习的RGBT目标跟踪方法中,通常仅利用某一层的模态特征进行融合,而忽略了多层次特征融合所带来的性能提升。此外,在不考虑模态可靠性的前提下,直接融合两个模态的特征,可能引入过多的噪声,不利于获得鲁棒的多模态融合特征,影响后续跟踪的性能。为解决上述问题,本工作中提出了一种基于深度自适应融合网络的高性能RGBT跟踪方法DAFNet。该方法由一个融合链构成,能够对多层特征进行融合。在此基础上,提出了一种自适应融合模块,该模块可在特征融合前充分考虑不同模态特征的可靠性,利用生成的模态权重抑制噪声和冗余信息,实现自适应模态融合。由于自适应融合网络简单有效的操作,使得DAFNet可以以近实时的速度运行。在公开数据集GTOT和RGBT234上的实验验证了DAFNet较优的跟踪精度和效率。第二,提出了基于全局上下文建模与记忆信息引导的RGBT目标跟踪方法。如何获得鲁棒的多模态融合特征一直是RGBT目标跟踪研究的重点。受自注意力机制等工作的启发,本工作提出了一种基于全局上下文信息引导的特征融合模块,该模块可挖掘模态特征内的全局上下文信息,并结合两个模态的全局上下文信息进行特征融合,实现鲁棒的多模态特征表示。此外,随着跟踪进行,通常会出现遮挡、光照变化等挑战。对于这些挑战,跟踪器漂移的可能性较大。但仅依靠当前帧的特征则难以实现更加鲁棒的特征表示。考虑到跟踪过程中会产生丰富的时序信息,本工作中提出了一种记忆信息引导网络,该网络可以较为合理地利用时序信息来对当前帧的特征进行引导,优化其特征表示,降低跟踪器发生漂移的概率,进一步提高跟踪精度。在GTOT和RGBT234数据集上的一系列实验验证了所提出方法的有效性。