近年来,对无人车驾驶、图像识别、跟踪智能系统等机器人视觉轨迹跟踪的需求越来越高,引起了诸多人的关注。基于视觉的机器人轨迹跟踪系统具有多变量、强耦合、非线性、自主性等特点。因此,对基于视觉的运动目标轨迹跟踪问题进行研究具有理论和实际的意义。本文设计了倒立摆机器人视觉轨迹跟踪系统,通过将视觉控制与轨迹跟踪控制相结合来引导机器人运动至期望轨迹。首先,针对分类器因分类不准确而造成跟踪漂移的情况介绍了多实例目标跟踪方法。将多个训练样本放在一个训练包中,通过对训练包进行标签的方式获得训练分类器,实现对测试包分类预测的目的。其次,为了实现跟踪机器人导航制导目的,提出了视线跟踪的方法。通过获取航向和距离信息来设计双闭环PID控制器,以提取跟踪机器人的期望轨迹。利用轨迹线性化方法设计轨迹跟踪控制器,得到开环的逆系统,并根据所需输出得到所需输入。而在闭环系统中对误差进行调节。然后根据开环的期望输入和闭环误差输入求得系统最终的输入。最后综合以上两部分设计实现了视觉轨迹跟踪系统,并对结果进行分析。实验结果显示:应用多实例目标跟踪的方法,即使目标存在遮挡的情况,跟踪器始终能在较短的时间内找到跟踪目标,表明该方法可以有效解决跟踪漂移的情况。通过将视线跟踪与轨迹线性化相结合的方法,实现了系统的解耦和对误差的调节,控制器能够控制机器人追踪到目标轨迹,说明所设计的控制器具有可行性。