基于图像序列的运动目标跟踪是计算机视觉领域的一个核心问题，得到了国内外广泛而深入的研究。视觉跟踪技术具有广阔的应用前景，如视频监控、视频分析、视频检索、基于视频的运动分析和合成、基于运动信息的身份识别等。经过近些年的发展，取得了长足的进步，但是一般意义上的视觉跟踪技术尚不成熟，要开发出真正鲁棒、实用的视觉跟踪应用系统还需要更为鲁棒的核心算法并需要解决大量的算法实现问题。本文在背景差分目标检测理论的框架下，对背景建模、阈值分割、阴影抑制和目标关联提出了一些有益的改进算法。具体研究内容如下：1：在对运动目标检测算法基本理论分类的基础上，对现有的跟踪算法存在的问题进行了分析，比较了各自的优缺点。2：图像分割算法是运动目标检测的主要内容之一，比较了现有的几种分割算法的性能差异，并针对目标检测问题的实际，提出了一种自适应的阈值分割算法，在确保分割性能的前提下，提高了算法的实时性。3：背景差分是运动目标检测最常用的方法之一。在实际情况下，自然环境的多变，会出现背景的扰动和光照强度的变化，文中提出了一种背景提取与更新算法，有效的解决了背景光照突变的问题。4：在研究运动目标跟踪方面，采用基于卡尔曼滤波的多运动目标跟踪算法。通过建立帧间关系矩阵将运动目标的状态分为5种情况进行分析，当目标相互遮挡时，通过预先提取的目标模版进行匹配，从而获得准确的目标运动区域。实验结果表明，本算法在复杂背景的情况下，也能够实现运动目标的准确实时跟踪。