视觉目标跟踪是当前计算机视觉系统的重要组成部分。随着生活中各个领域对视觉跟踪系统需求的不断增加以及计算机科学技术的飞快发展,目标跟踪技术得到迅速发展的同时也面临着应用背景复杂化、对实时性和准确性要求严格化等挑战。由于视觉目标总是处在特定的场景当中,对所处场景的理解有助于视觉跟踪的实现。以人类的视觉经验来看,人类专注跟踪某个目标的时候,对场景中物体的具体属性也是不予理解和关注的,且视觉跟踪对计算速度的要求较高,目前存在的场景解析方法过于复杂,并不适合视觉目标跟踪的应用需要。因此需要一种适合于目标跟踪的场景解析方法。和常规的场景理解方法不同,本文设计出适合视觉跟踪的场景剖析方法,该方法忽略掉物体的具体属性,解译出视场中各个物体的相对位置关系(含相对深度信息),以辅助目标的跟踪。首先采用实现简单、计算量小的阈值分割方式对单目场景进行简单的分割,在此基础上获取各个物体的平面位置信息,并充分利用真实3维场景到2维成像图像之间的解析几何关系获取各物体的2D位置关系和深度信息,最后利用2D位置关系和深度信息来处理干扰和遮挡问题并结合meanshift跟踪算法,实现更加鲁棒的目标跟踪。