论文部分内容阅读
在安防市场巨大的需求推动下,视频监控技术正在向着数字化、网络化、智能化的方向飞速发展,传统的单摄像机小场景监控正被多个智能体(摄像机)组成的广域大范围智能视频监控所替代,这就首先要求用多个摄像机替代传统的视野有限的单摄像机,接力或协同进行运动目标的持续跟踪。多摄像机接力目标跟踪方面的研究作为智能视频处理系统最基本的核心技术,是目前计算机视觉方面的一个重要研究课题,具有很强的理论意义和实际应用价值。尽管多摄像机接力目标跟踪的相关研究在过去一段时间内取得了较大的进步,但总体而言仍处于探索阶段,仍然有很多难题制约其发展。首先,多摄像机间目标的持续跟踪要以准确的单摄像机目标跟踪为基础,而单摄像机目标跟踪中仍存在许多问题和难点尚未解决,例如如何适应目标所处环境的外在变化(包括环境光照变化、摄像机运动、噪声污染、背景复杂性等)如何选取目标图像特征适应目标的内在变化(包括目标的姿态变化、超平面旋转、目标的非刚性和目标的铰接性等)、目标部分或全部遮挡难题、跟踪的初始化问题、跟踪的实时性与准确性间的平衡、目标模型的适应性和鲁棒性间的平衡等;其次,多摄像机的使用给视觉目标跟踪带来很多新的理论和技术问题需要研究和探讨。目前大场景下多摄像机的接力目标跟踪面临的关键问题主要包括跟踪目标的初始检测定位、如何选择特征稳定有效表示目标、跟踪过程中目标模型的在线学习和目标经验模型在多摄像机间的继承传递、多摄像机间目标交接等。因此本文针对上述存在的问题,以多摄像机接力进行某一特定运动目标的持续跟踪为研究背景,对涉及到的一系列关键算法进行研究,包括特定目标的初始化定位、单摄像机内基于特征融合的稳定目标跟踪方法、带有特征学习与特征继承的目标跟踪方法和多摄像机间基于时空渐进匹配的交接方法。论文的主要研究内容与成果包括:1.针对目前研究较少的根据特征描述进行特定目标自动捕获定位问题,以常见的行人目标为例,在摄像机焦距、视野可变的情况下对只有简单特征描述的目标自动初始化方法进行研究。首先根据不同的描述方法生成目标的自适应分块颜色模型,然后采用宽高比、方差和特征模型三级级联滑动窗口法(cascade slide window)完成目标的检测,最后融合粒子滤波状态估计跟踪进行目标的自动初始化定位。实验结果表明,当目标的颜色纹理比较简单时,该方法在只给出目标描述性颜色特征时获得了较好的自动初始化定位效果。2.要想在多摄像机间准确稳定地对特定目标进行持续跟踪,必须首先在单摄像机内部进行目标的准确快速跟踪,多线索融合是单摄像机目标准确快速跟踪的一种有效方法。因此针对单摄像机内部目标跟踪问题,研究了一种按目标颜色分布进行自适应分块,并用子块组成多线索进行粒子滤波跟踪的方法。自适应分块方法根据目标颜色分布确定子块个数,提高了对目标初始描述的适应性;粒子滤波跟踪时,根据子块的可靠性及粒子的空间分布动态调整子块权重及进行子块的分裂与合并,提高了跟踪过程中对目标姿态变化、遮挡等情况的适应性。最后还对自适应分块阈值的自动选取做了尝试。3.为了在单摄像机内和多摄像机间进行目标的持续跟踪,最好能够将目标的某些稳定特征进行学习和继承。如在单摄像机内部跟踪中,通过学习可得到目标的稳定外观模型,适应目标及场景的各种变化,实现长时稳定的跟踪。而在多摄像机间同一目标持续跟踪中,一个摄像机跟踪过程中学习到的较稳定、鲁棒的目标模型可继承到下一摄像机中,下一摄像机无需重复进行复杂的学习过程,就能根据上一摄像机学习到的稳定目标表达进行快速目标定位和稳定目标跟踪。为了实现这一目标,在目前流行的基于目标外观模型在线学习跟踪方法基础上,提出一种带有特征学习和特征继承的目标跟踪方法。特征学习通过在线加权多示例学习提升(Online Weighted Multiple Instance Learning Boost, WMIL)算法实现,特征继承通过在跟踪过程中评估特征的稳定性和分类能力并保留较好的特征实现,运动模型则通过粒子滤波跟踪算法实现。特征学习和特征继承的目标判别式模型为粒子适应性度量提供了更自然有效的方法,粒子滤波运动模型则可更快速有效地为在线加权多示例学习采集正负样本,这两者的结合提高了跟踪算法的效率和鲁棒性,并为后续摄像机间的目标交接和目标经验模型的继承传递打好基础。4.在多摄像机监控系统的接力目标跟踪中,目标交接即目标的一致性标定(consistent labeling)是必须要解决的关键问题。针对这一问题,研究了不带重叠视野区域的多摄像机间目标交接方法,提出一种基于目标经验模型继承和时空渐进匹配的目标交接方法。首先人工确定环境地图,并通过离线学习得到摄像机间的时空约束关系,包括进入/离开区域及其空间转移概率和转移时间概率。然后利用这些时空约束关系渐进地采样粒子判断目标交接时刻,继承上一摄像机中自底向上和自上而下两种思路融合得到的目标经验模型进行粒子权重的计算,并根据对应多个进入区域的粒子集权重进行粒子个数和权重的调整,最终实现跟踪目标的准确交接。本文的研究工作是多摄像机接力目标跟踪尤其是对某一特定感兴趣目标在多个摄像机间持续跟踪涉及到的一些关键算法进行的有益尝试,重在提高单摄像机跟踪中算法的鲁棒性和快速性,以及为多摄像机间目标的接力跟踪提供一种新的解决思路。