群组行为识别是目前视频分析领域的一个重要研究内容。群组中往往包含大量个体,且这些个体间存在关系,因此,对群组中个体间结构化关系的建模是实现视觉理解的重要一步。且在包含群组活动的场景中,通常只有小部分个体对群组行为起作用。本文在总结群组行为识别方法的基础上,考虑个体对群组行为的重要作用,主要解决群组行为识别中的以下几个问题:第一,对于稀疏群组,通常需要借助个体进行分析,且对群组中个体目标的定位是借助个体分析群组的前提,因此对群组中个体的目标定位是群组行为识别过程需要解决的问题;第二,群组中个体之间是有关联的,对群组中个体间的关系进行分析也是群组行为识别中一个关键的问题;第三,识别群组中的关键个体,挖掘群组中关键个体对群组行为识别的影响。针对这些问题,本文做出以下工作:(1)针对群组中个体目标的定位,本文使用帧间显著性与faster-RCNN网络相结合的方法抑制群组外的个体,突出场景中具有运动特性的个体,从而获得群组中所有个体目标的定位;然后采用双流网络提取视频序列的外观及运动信息,利用长短期记忆网络(Long Short-Term Memory networks,LSTM)来学习视频时间演变的全局描述,实现了精确的个体行为识别。(2)针对个体对群组行为识别的影响,本文提出“个体-群组”关联描述的层次LSTM网络对群组行为进行分析。本文通过对群组中个体的位置信息进行聚类,实现个体编组过程,构建层次关联网络,获得包含个体间关系的场景表示;同时通过多层感知机结合个体特征和场景特征计算每个个体的空间关注度得分,获得了每个时刻与群组行为最相关的个体,实现了关键个体对群组行为识别的作用,并构建层次LSTM网络捕获视频场景的时序信息,从而实现了更准确的群组行为识别,并在公开数据集上验证了本文模型的有效性。