论文部分内容阅读
视频目标跟踪,即如何从实时视频中准确、快速地获取感兴趣目标的状态信息如位置和大小,为实现海量视觉信息的智能化应用提供了强有力的支撑,也是计算机视觉中的基本问题。然而,由于感兴趣目标是非特定的和持续变化的,且背景和干扰是复杂和多变的,上述问题极具挑战。如何依据较少的训练样本,快速构建精确而鲁棒的目标模型是视频目标跟踪中的关键问题。
本文主要研究如何设计考虑目标结构、目标及上下文空间分布和其时空变化的正则化方法来构建精确、鲁棒和实时的跟踪算法。本文主要贡献如下:
1.针对压缩跟踪算法缺乏目标结构信息和特征区分度低的问题,提出超像素引导的结构正则化精确跟踪方法。首先,通过超像素分割为压缩特征引入目标局部结构信息来提升其区分度。其次,提出快速方向积分方法实现高效的目标旋转检测。最后,通过在线数据驱动的采样方法提取了更少但更有效的样本。在公开数据集上,提出的方法显著提升跟踪算法的精度。
2.针对相关滤波跟踪算法忽略目标及上下文空间分布信息和鲁棒性差的问题,提出了基于马尔可夫决策过程(Markov Decision Process,MDP)的选择空间正则化鲁棒跟踪方法。首先,提出选择空间正则化的相关滤波并根据不同的空间权值图生成面向目标或上下文的滤波器用于目标跟踪。其次,将权值图的选择形式化为MDP并基于增强学习来学习其参数。实验结果表明提出的方法能显著地提升2个跟踪算法的鲁棒性并取得接近5倍的加速。
3.针对空间正则化跟踪算法效率低的问题,提出了基于截断迭代元学习的快速空间正则化目标跟踪方法。首先,提出一个低复杂度的目标函数来求解空间正则化的滤波器。其次,提出了基于双长短时记忆(long short-term memory,LSTM)的截断迭代元学习算法来快速优化上述目标函数。最后,将提出的方法用于5个相关滤波跟踪方法,显著地提升了它们的速度。
4.针对Siamese网络跟踪算法忽略目标和上下文时空变化而不能自适应目标外观变化和抑制背景干扰的问题,提出基于Siamese滤波的动态正则化超实时深度跟踪方法。首先,在Siamese网络基础上增加目标外观和背景抑制变换。其次,提出一个目标函数来快速求解这两个变换,实现了超实时的目标跟踪。此外,通过融合多层深度特征和联合训练进一步提高了提出方法跟踪精度。最后,通过分析Siamese滤波与相关滤波和Siamese网络之间的关系,证明了Siamese滤波是一个统一跟踪框架,其既克服两大主流方法的缺点又保留了其优势。在公开数据集上,提出的方法相对于基于分类和更新的深度跟踪方法有相似的精度但是有20倍以上的速度提升。
本文主要研究如何设计考虑目标结构、目标及上下文空间分布和其时空变化的正则化方法来构建精确、鲁棒和实时的跟踪算法。本文主要贡献如下:
1.针对压缩跟踪算法缺乏目标结构信息和特征区分度低的问题,提出超像素引导的结构正则化精确跟踪方法。首先,通过超像素分割为压缩特征引入目标局部结构信息来提升其区分度。其次,提出快速方向积分方法实现高效的目标旋转检测。最后,通过在线数据驱动的采样方法提取了更少但更有效的样本。在公开数据集上,提出的方法显著提升跟踪算法的精度。
2.针对相关滤波跟踪算法忽略目标及上下文空间分布信息和鲁棒性差的问题,提出了基于马尔可夫决策过程(Markov Decision Process,MDP)的选择空间正则化鲁棒跟踪方法。首先,提出选择空间正则化的相关滤波并根据不同的空间权值图生成面向目标或上下文的滤波器用于目标跟踪。其次,将权值图的选择形式化为MDP并基于增强学习来学习其参数。实验结果表明提出的方法能显著地提升2个跟踪算法的鲁棒性并取得接近5倍的加速。
3.针对空间正则化跟踪算法效率低的问题,提出了基于截断迭代元学习的快速空间正则化目标跟踪方法。首先,提出一个低复杂度的目标函数来求解空间正则化的滤波器。其次,提出了基于双长短时记忆(long short-term memory,LSTM)的截断迭代元学习算法来快速优化上述目标函数。最后,将提出的方法用于5个相关滤波跟踪方法,显著地提升了它们的速度。
4.针对Siamese网络跟踪算法忽略目标和上下文时空变化而不能自适应目标外观变化和抑制背景干扰的问题,提出基于Siamese滤波的动态正则化超实时深度跟踪方法。首先,在Siamese网络基础上增加目标外观和背景抑制变换。其次,提出一个目标函数来快速求解这两个变换,实现了超实时的目标跟踪。此外,通过融合多层深度特征和联合训练进一步提高了提出方法跟踪精度。最后,通过分析Siamese滤波与相关滤波和Siamese网络之间的关系,证明了Siamese滤波是一个统一跟踪框架,其既克服两大主流方法的缺点又保留了其优势。在公开数据集上,提出的方法相对于基于分类和更新的深度跟踪方法有相似的精度但是有20倍以上的速度提升。