随着人口的快速增长、人群活动更加多样以及社会化进程的迅速发展,群体场景变得更加普遍,于是建模、分析和理解视频中群体行为数据的需求日益增强。相比于以往的视频内容分析的工作,群体视频中人群数量增大,场景更为复杂等因素使得对视频中的群体行为的分析问题面临着巨大的挑战。与此同时,群体行为中蕴含着很多跨学科领域问题的重要线索,理解群体行为的形成机理早已成为社会学和自然科学重要的研究课题之一。群体行为分析的研究可以为很多关键工程应用提供支持和相应的解决方案,如智能视频监控,人群异常监测,公共设施规划等。这使得对群体行为的高层语义理解和分析变得越来越迫切。对于视频中的群体场景人群行为的分析,简称群体行为分析,主要目的是以普通的监控视频为基础进行群体场景语义内容的理解和分析。在对研究现状分析的基础上发现现有方法的发展主要受到两方面挑战的制约,主要是群体认知机理匮乏和结构化语义缺失。本文以结构化认知信息在群体行为分析中的作用为出发点,以结构化认知信息在表达、协同、挖掘的三个阶段的表现形式为主线,对高效的群体行为计算框架和算法模型展开研究:基于结构化交互属性,期望获得描述群体行为交互作用的表达模型;利用结构化语义信息进行群组建模,探索群组的共生结构和形成结构的一致性以及多属性融合的群组协同模型;面向群体行为高层语义知识,挖掘群体情感和建模注意选择机制。研究群体行为在视频内容智能分析领域的具体应用,试图挖掘真实场景视频数据中出现的动态群体模式和行为。具体来说,本文的研究内容和主要贡献可以概括如下:首先,针对群体行为认知机理的缺乏,即“所提取的底层运动特征与高层群体语义之间需要认知机理来填补语义鸿沟”的问题,本文提出了一种基于结构化交互属性的群体认知表达模型,以刻画群体行为的交互作用来增强现有的群体表达的判别力和丰富性。现有的群体行为表达模型缺乏对社会性交互作用的深层建模,需诉诸于属性或概念特征,构建从底层运动描述到中层对象交互的特定语义表示。通过借鉴社会化群体行为认知机理,本文系统地提出了结构化交互属性的组织和表示方法,将量化后的属性作为群体表达,并从结构化属性自身特点出发提出了在线融合策略。在UMN、UCSD、UCF-Web多个数据集上进行了群体行为异常检测任务的比较实验。结果证明了基于结构化交互属性的群体表达模型的有效性。其次,本文就结构化语义信息在群组表达中的缺失,即“如何利用群组的结构及关联特性和多属性信息”的问题进行了拓展研究,通过协同建模来提高结构化的语义表示。本文提出了基于结构一致性图挖掘的群组检测方法,其中包含基于共生结构一致性的轨迹图词包模型来进行群体事件的刻画,以及基于形成结构一致性的密集子图模型进行群组结构的描述。在UMN、PETS等数据集上的实验结果表明,所提方法可以在群体事件识别和群组检测中有效地提高性能。更进一步,可以通过多种属性来全面地描述群组轮廓,包括同质、异质、拓扑属性等。本文探讨如何将群组的多属性信息进行融合,进而提出基于深度属性嵌入图学习的群体描述方法,来进行群体视频检索。所提方法整合多种属性到图排序的框架中,同时进行排序分数、属性权重和深度转换矩阵的优化。在CUHK-Crowd数据集上进行了群体视频检索实验,实验结果表明了所提方法的优异性能。最后,本文以结构化认知表示为基础,提出了面向群体行为高层语义知识挖掘的包括群体情感和注意选择机制的建模方法。针对群体情感,本文探讨结构化轨迹特征和情感空间的映射关系,进而提出基于结构化轨迹学习的群体情感建模方法。通过结构化的轨迹学习提取连贯的轨迹特征,进一步加权回归学习将特征映射到情感空间来构建群体情感曲线表示。实验结果表明,所提方法可以有效地进行群体情感的分类匹配等任务。另外,从群体场景的显著度建模出发,本文探讨群体场景中的注意选择机理,并提出了基于级联深度网络的群体显著度预测方法。实验结果表明,所提方法同时考虑到群体和显著度的感知特性,同主流方法相比更为有效。通过以上研究,本文对面向视频内容分析的群体行为表达和计算模型进行了深入的探索,为群体行为分析研究中所面临的关键问题提供了切实的解决方案。结果表明:结构化的认知因素在群体行为表达和应用中起到重要作用。通过引入结构化交互属性,可以提取出更丰富和易于理解的特征增强对象级的描述,从而提升异常检测任务的准确率;特定的群组结构化语义中具有共生和形成结构一致性,综合考虑利用一致性以及协同多属性优化可以显著提升群组模式分析的性能;结合群体行为认知机理,可以进一步对群体行为的情感和注意机制等高层语义进行合理解释和建模,同时能够有效地解决群体事件识别、情感分类、显著度预测等实际的应用问题。