论文部分内容阅读
多目标跟踪是提取视觉输入中多个目标的连续运动轨迹,在机器人视觉导航、智能化交通等具有广泛的应用,并且对行为分析与理解等高级视觉任务具有重要意义,是计算机视觉研究领域的热点之一。近年来随着可穿戴相机设备的大量应用,基于Egocentric视频的计算机视觉研究引起研究人员的广泛关注。由于相机自身运动的不确定性和时变性,造成Egocentric视频中的目标运动模式复杂、遮挡频繁,给准确、稳定的目标跟踪任务造成了极大的困难。多视角的丰富信息有利于解决现有单个视角中目标跟踪中存在的问题,因此基于Multi-egocentric视频的多目标跟踪算法的研究具有很重要的理论意义和实用价值。本文针对Multi-egocentric视频中多目标跟踪的关键问题进行了深入研究。为了解决单视角跟踪中经常出现的运动不连续性问题,重点研究了基于多视角几何约束的多目标跟踪算法;为了实现基于Multi-egocentric视频鲁棒的多目标三维空间跟踪,重点研究了基于多模型融合的Egocentric视角运动姿态估计算法,以及基于Multi-egocentric视频的多目标三维空间跟踪方法。为验证本文算法地有效性,构建Multi-egocentric视频数据集BJMOT,并在BJMOT数据集以及公开数据集EPLF-campus4和TUM-Freiburg进行了相关算法的实验验证。本文的主要研究工作如下:1、研究了基于多视角几何约束的Multi-egocentric视频多目标跟踪算法。为了解决Multi-egocentric视频中目标运动的不连续性问题,首先基于多视角同一时刻视频多帧之间的单应性约束改善目标遮挡和丢失问题,然后根据多视角目标空间位置约束关系进一步优化目标定位,并采用卡尔曼滤波构建目标运动模型优化目标运动轨迹。在BJMOT、EPLF-campus4数据集上的对比实验验证了本文算法的有效性,在鲁棒性方面较MDP、CMOT算法更优,跟踪结果相比于MDP、CMOT算法在准确率上增加了 27%和14%。2、研究了基于多模型融合的Egocentric视频相机运动姿态估计算法。为了提高Multi-egocentric视频目标三维空间跟踪的准确度和鲁棒性,该算法通过多种模型融合的方法提高相机在三维空间位姿估计的准确性。算法首先通过基于运动目标检测的特征点法对Egocentric视角相机位姿进行初始化估计,然后结合直接法以及相机在空间中的运动模型提高Egocentric视频相机位姿估计的准确性和鲁棒性。该算法在TUM-Freiburg数据集上进行了算法的验证,在鲁棒性和准确性上较SVO算法更优,提高了 9%的准确度。3、研究了基于Multi-egocentric视频的多目标三维空间跟踪方法,首先提出了基于Multi-egocentric视频多目标三维空间跟踪框架,在以上两点研究工作的基础上,利用多视角三维重建对多视角同步帧根据特征点法获取目标空间相对三维坐标,然后利用多个相机的位姿信息,把目标空间相对三维坐标转换到世界坐标系下的坐标,并通过构建目标三维空间运动模型优化目标三维空间运动轨迹。在BJMOT数据集上的实验结果证明了本文算法的有效性。