随着现代科学技术的不断发展，越来越多的领域运用到了计算机视觉图像处理的技术。其中，视频目标跟踪是一个新兴的研究方向，它融合了多种高级的科学技术，诸如人工智能、模式识别以及图像处理等。视频目标跟踪的应用场景十分广泛，在医学、交通、军事以及工业上都有应用，未来会有更多的场景对其进行开发和应用。目前，视频目标跟踪的对象已经逐步由静态视频转向了动态视频的场景，而其中最困难的问题是如何提取目标的特征以及如何在下一帧图像中找到最匹配的目标。现在已经有很多学者提出了很多有效的跟踪算法，但是在动态视频中往往表现的并不能让人满意。计算机视觉处理领域希望找到一种在任何状态下都能保持很好实时性和鲁棒性的跟踪算法。本文提出了一种基于Tabu搜索的目标跟踪算法，该算法的主要优点体现在以下几点：首先，我们将Tabu搜索算法运用于目标跟踪过程，它是一种启发式的搜索算法，由于目标跟踪的初始解确定性，Tabu搜索可以很有效的运用于目标跟踪。其次，我们设计了一种基于核函数的特征提取算法，并且针对不同的特征提出了基于信息熵和基于Bhattacharyya系数的相似度计算方法。之后，我们根据视频目标跟踪的实际情况，修改了Tabu搜索的基本条件和变量，使之可以很好的进行跟踪。此外，为了达到更好的跟踪效果，我们提出了两种优化算法：帧差法和邻域优化选择算法。实验证明，在静态视频中，优化后的Tabu搜索跟踪算法将表现的更加稳定和准确。最后，我们在不同的跟踪场景下进行跟踪仿真实验，并且对Tabu搜索的各重要参数也进行了实验分析。从实验的结果来看，本文提出的Tabu搜索跟踪算法不仅在静态视频中能表现出良好的实时性和鲁棒性，在动态视频中也能表现出很好的适应性。同样，Tabu搜索跟踪算法也无法很好处理遮挡问题。