视觉作为移动机器人平台感知外界环境的重要组成部分,将采集到的实时图像传送给处理单元,图像信息被分析处理后,根据实际需求实现不同的功能。本文基于工程需求,设定运动目标为人体,基于视觉的运动目标检测与跟踪技术对运动人体进行检测跟踪并应用于移动机器人平台,控制其随动跟踪人体运动。本文的研究内容主要分为三个模块:运动目标检测模块,运动目标跟踪模块和运动目标随动跟踪控制模块。运动目标检测模块为了解决动态背景下运动人体的检测问题,综合特征信息检测和人体模型分割检测这两种思路并结合深度学习框架,通过检测人体关键部位特征点的方法完成对人体的检测。人体关键部位特征点的检测依赖于人体姿态估计算法,因此本文的研究基于多人姿态估计方法中的自底向上模型,首先将图像中所有的人体关键点通过卷积神经网络进行特征提取检测出来,然后在特征点置信图预测中使用热图和偏移量融合优化的方法实现人体关键点的准确标记,最终得到人体检测结果。运动目标跟踪模块为了解决基于检测出的运动人体的图像跟踪问题,通过判别式跟踪模型中的相关滤波跟踪方法,选择检测结果中的人体上半身作为跟踪目标,将检测结果作为输入对相关滤波器进行训练,同时,通过实时更新使得相关滤波器可以适应运动人体的变化,实现可靠跟踪。在对相关算法的研究中,本文在对MOSSE相关滤波器进行原理研究的基础上,融合KCF算法的HOG特征提取以及DSST算法的尺度滤波器组成融合相关滤波器。该算法同时解决了KCF算法缺少尺度估计和DSST算法实时率不高的问题,在保证算法实时性的情况下提高了跟踪的准确率。运动目标随动跟踪控制模块将上述跟踪结果作为移动机器人的跟踪目标,实现检测模块和跟踪模块在移动机器人平台上的应用。通过分析移动机器人的运动模型与观测模型,制定基于单目相机的控制策略,采用基于ROS系统的PID控制方法控制移动机器人,最终实现其随动跟踪人体运动。