识别视频中人物行为与社交关系是理解视频语义的重要任务,其主要难点在于如何通过运用深度学习等算法来分析和整合与人物行为相关的视频语义线索。近年来传统的深度学习算法在简单静态图片识别方面取得了突出成就,但是仍不能满足视频中复杂的人物行为与社交关系识别要求。本学位论文以识别视频中的人物行为语义与社交关系为研究目标,首先提出一种基于长短期记忆(LSTM)模型的语义识别算法来识别视频中人物行为,再通过一种基于无向有权图的节点聚类算法来完成视频中人物社交分组,最后通过部分标记因子图模型(SPLP-FGM)来推断视频中人物的社交关系。此外,本文在微软视频描述语料、电影描述的语料库两个数据集上进行人物行为语义识别实验,在电视剧Friends数据集上进行人物社交关系识别实验。实验结果表明,本文提出的基于LSTM模型的语义识别算法能够高效和全面地识别视频中人物的行为语义,部分标记因子图模型能够有效地识别视频中人物之间的社交关系。本文的工作创新主要体现在以下三个方面:(1)利用卷积神经网络并行地抽取每个视频场景中的人物身份、人物动作和上下文等三个方面的中层语义特征,通过两层循环神经网络来融合这三个方面的语义信息来完成视频中人物行为语义的识别;(2)将视频中的人物社交映射成无向有权图,通过一种基于无向有权图的节点聚类算法来完成视频中人物的社交分组;(3)在完成视频中人物的社交分组和行为语义识别的基础上,通过构建和学习部分标记因子图模型来推断视频中所有的未知人物社交关系。