智能视频监控中,利用计算机实时定位视频中感兴趣的、显著视觉特征的多个独立目标,精确计算出目标在视频中位置大小、运动速度、表观特征等状态信息,为目标分类识别、行为理解等高层处理提供数据的多目标检测与跟踪技术仍然是研究的热点。视频信息包括帧间信息和帧内信息。现有基于运动信息的检测跟踪系统,只利用帧间运动信息而忽视了帧内物体表观信息,系统无法检测静止状态的目标,运行过程中不能继续跟踪由运动变静止的目标。针对运动检测系统无法提取静止状态目标的问题,采用了O2O检测算法:在线(Online)帧间运动检测,离线(Offline)帧内表观检测;运动检测通过帧间信息提取出运动的目标;表观检测弥补运动检测的不足,提取出静止的目标;学习两者提取结果,输出综合检测结果。针对运动检测检测到目标包含一些非跟踪目标噪声的问题,离线训练好一类目标的随机森林分类器,用分类器排除不需跟踪的目标,滤除噪声,提高跟踪准确度,减小跟踪计算量。针对传统跟踪方法无法继续跟踪停止目标的问题,采用了融合特征匹配与数据关联的多目标跟踪算法;跟踪系统使用帧间数据关联算法来判断目标前后帧的关联、新目标产生和目标消失;当判断一个目标消失时,系统自动在目标消失时刻的位置,使用帧内特征匹配算法,用存储的该目标特征来匹配当前位置区域图像,从而识别目标,验证其是否真消失。具体的研究内容:首先,使用基于背景差分法的帧间运动检测算法,获取视频帧间运动信息、目标状态数据;采用基于分类器的帧内表观检测算法,获取视频帧内表观信息、目标状态数据。然后,研究融合帧内特征匹配和帧间数据关联的多目标跟踪算法,实现多目标的跟踪。最后,研究并实现基于运动和表观的O2O多目标检测与跟踪系统。该系统在检测中采用在线(Online)基于帧间运动信息和离线(Offline)基于帧内表观信息的O2O综合检测算法,用以检测出全部动静目标;在跟踪中采用融合帧内特征匹配与帧间数据关联的跟踪算法,利用帧内表观特征解决跟丢停止目标的问题。