多目标的检测与跟踪是视频目标跟踪课题中非常实用但是难度很大的一个课题，尤其是动态背景下的多目标的检测与跟踪，目前现有的算法很少且都有各自的优缺点。在实际应用过程中这种动态背景下的多目标的检测与跟踪算法不仅涉及到图像处理、视频处理、模式识别等很多领域，而且用途是非常广泛的，具有很大的研究价值和意义。例如智能视频监控系统、智能交通监控系统、军事武器精确瞄准以及视觉制导和跟踪等都是多目标跟踪的应用领域。本文提出了一种动态背景下多目标的检测与跟踪的算法。首先对于多目标的检测部分，引入了仿射变换理论，实现了对背景运动的补偿，此时复杂动态背景下多目标的检测问题就转换为了相对简单的静止背景下的检测问题，接着利用改进的帧差法对视频图像中的运动区域进行检测，然后利用多目标的检测与分离得到带有编号和矩形框的运动目标的集合，为下一步多目标跟踪进行预处理，并经过实验验证了本文采用的检测算法是正确的合理的。其次对于多目标跟踪部分，先引入一种基于颜色特征和Kalman滤波融合的目标跟踪算法，这里我们是把视频的颜色特征空间转换为HSV颜色特征空间，接着对运动目标进行颜色特征提取，然后结合Mean Shift算法，利用相似函数进行判断目标是否发生遮挡，如果目标发生了遮挡则采用Kalman滤波进行目标位置预测，否则采用Mean Shift算法对目标进行跟踪，通过实验分析验证了算法的可行性。最后拓展该单目标跟踪算法思想到多目标跟踪算法中，先对前面检测到的多目标提取全局特征并进行特征匹配关联，得到目标在下一帧的粗略位置，然后利用Mean Shift算法在这个粗略位置进行迭代处理，并利用Kalman滤波对发生遮挡的目标进行位置预测，从而得到比较精确的目标位置实现了多目标的跟踪，通过实验结果验证了本文提出的跟踪算法的实时性和稳定性，并能够较好处理一般动态背景下视频的多目标跟踪。