近几年红外目标跟踪不断用于军事和民用方面。但是红外图像本身也存在模糊、对比度低、背景噪声大、细节不清晰等缺点,导致红外目标的特征难以被准确获取。一些传统的红外目标跟踪方法提取红外目标的底层特征,在一定程度上可以有效跟踪目标,但是近几年的发展日益受限。随着目标跟踪的深度学习方法不断涌现,为了更加准确和高效地跟踪红外目标,本文提出了一种结合红外目标显著性检测和全卷积孪生神经网络(Fully-Convolutional Siamese Network,siamese FC)的红外多目标深度学习跟踪算法。首先,针对红外图像本身对比度低、图像细节不清晰、目标边缘模糊的问题,本文利用图像的梯度、信息熵进行有效融合,并且自适应调整分数阶微分以增强图像中的目标边缘,再采用图像像素灰度的标准差和均值进行融合去确定目标的分割阈值,以区分出图像中的背景和目标部分,并且通过对图像中的目标区域进行线性增强,以进一步突显目标。然后,针对红外目标受到复杂背景的干扰和存在多种形状大小的情况,本文结合多尺度顶帽变换,对目标增强后的红外图像进行腐蚀与膨胀处理,提取明暗部分相减重构图像,降低模糊背景噪声的干扰,再将重构后的图像从时域转换到频域,提取改进后的频谱残差、相位谱和四元傅里叶变换三种显著图进行融合,生成最终的红外多目标显著图。最后,针对红外目标跟踪出现目标被遮挡、旋转、变形等一些情况,本文融合显著性目标检测和siamese FC网络提高目标跟踪的鲁棒性,通过分割标记对多张红外图像显著性检测图进行红外目标边界框的标注,再将当前红外目标显著图中目标的标记信息和预处理的红外图像输入siamese FC网络,进行训练和目标跟踪,并且通过多目标的关联匹配、目标防遮挡和目标再分割等处理,最终实现了红外图像中多目标的持续跟踪。仿真实验结果表明:本文所提出的算法有效地增强了红外图像,局部目标背景比(Target to Background Ratio,TBR)平均增加了0.5,并且生成的红外目标显著图效果良好,AUC(Area Under the Curve)达到了98%以上。由于红外图像增强和显著性目标检测,红外多目标的跟踪既精确又稳定,多目标跟踪精确度(Multiple Object Tracking Precision,MOTP)和多目标跟踪准确度(Multiple Object Tracking Accuracy,MOTA)分别达到了99.9%和99.7%。因此本文算法有助于高精度和强鲁棒性的红外多目标跟踪算法的研究。