论文部分内容阅读
随着计算机视觉的快速发展,视觉跟踪下的单目标跟踪越来越受到大众的关注。跟踪算法的发展从卡尔曼、粒子滤波器和特征点匹配的生成式模型到如今的基于相关滤波框架和Siamese(孪生)框架的判别式模型,跟踪算法的精度以及速度在不断提高。基于特征点匹配的算法优点是结构简单,无训练过程。但是其存在着精度不高,遮挡时特征点消失的问题;基于Siamese框架的全卷积网络算法速度快,但其只考虑了外观特征,所以无法很好跟踪背景复杂以及剧烈运动的物体。针对以上问题,本文对基于光流信息的特征点匹配以及Siamese框架的单目标跟踪算法进行研究。具体如下:1.提出了一种虚拟特征点和模糊权重的方法。基于特征点匹配的跟踪算法是传统模型最主要的实现方式,但是其在目标受到遮挡时鲁棒性低。因此,在CMT算法的基础上,加入了几何统一性的虚拟特征点补充方法,在目标受到遮挡的时候弥补特征点的不足。光流信息是物体运动信息重要的表征方式,其有相位可靠性高、对光照变化鲁棒性高的优点。因此提出了模糊理论的三分法来融合特征点匹配框和光流跟踪框,在不影响速率的前提下提高了算法在目标被遮挡时候的跟踪精度。2.提出了一种时序打分模型,高效地将光流网络融入到跟踪算法的框架中。SiamFC是目前主流的单目标跟踪算法之一,其提出了双路输入和相互卷积的方法进行跟踪。本文在Siamese框架的基础上将丰富的光流信息融入跟踪网络中:应用双线性插值融合光流信息到不同的视频帧,同时通过时序打分模型融合不同的候选检测帧。通过对光流网络的应用,解决了剧烈运动下目标模糊难以跟踪的问题。3.提出了一种判别器注意力模型。在Siamese跟踪框架下,模板帧在判别响应图上每个位置的贡献差别不大,这会得到错误的响应峰值从而跟丢目标。因此本文提出了三种不同的注意力模型,分别是光流注意力模型、归一化注意力模型和滴漏注意力模型,同时比较了他们对算法跟踪效果的影响。基于Siamese框架的SiamFlow算法结合了深度网络的离线训练和在线跟踪的优点,做到了实时跟踪。为了提高算法的准确性,SiamFlow算法在ILSVRC15数据集上进行训练。同时在0TB(Object Tracking Benchmark)和VOT(Visual Object Tracking)跟踪数据集上进行实验,均取得了不错的效果。实验结果表明该算法能高效地跟踪目标,对遮挡、剧烈运动和消失的物体有很好的鲁棒性。