复杂背景下的视频人物行为识别和分类在关键人物运动的轨迹特征提取中存在着一定程度干扰的问题,通过关键帧产生的静态特征和视频片段中轨迹产生的动态特征可以对视频中人物行为进行更好的描述。所以设计一种基于动静特征和深度学习的人物动作识别和分类系统实现对视频中人物轨迹特征的自主学习,从而对人物运动产生的不同特征进行更全面的分析,提高不同运动场景的人物动作的识别和分类精度。本学位论文以高效识别和分类视频中人物动作为研究目标,首先提出一种基于轨迹优化的特征提取方法对视频中人物运动进行描述,然后设计一种基于视频动静特征的特征融合方法对关键人物运动轨迹和背景信息进行特征融合,最后设计一种基于双流改进C3D的视频人物动作分类方法完成视频的人物动作的识别和分类。本文的工作创新主要体现在以下三个方面:(1)利用Faster R-CNN检测出来的人体检测框提取出关键人物的运动轨迹,再计算关键人物运动轨间的余弦测量度来删除重复轨迹,利用FV编码对低级的轨迹特征进行编码,最后通过SVM分类器输出分类结果。在KTH数据集和UCF 101数据集上分别进行人体检测框实验和动作识别实验。实验结果表明Faster R-CNN能够有效检测出人体检测框,在简单的环境中,能有效利用优化后的轨迹,更清晰的表征人物运动的轨迹特征。同时,识别精度和效率相较于原有的i DT方法有了较大的提升。(2)利用基于Alex Net的卷积神经网络对视频帧进行静态特征的提取,通过轨迹构建运动管对视频中的动态特征进行提取,并通过Cholesky变化进行静态特征和动态特征的特征融合,最后通过GRU网络补偿时域上的特征并完成动作的分类。在UCF101数据集和Hollywood2数据集上进行特征融合实验。实验结果表明视频中在静态特征和动态特征的融合比为8:2的条件下识别精度最高。通过聚类的方式对视频中显著运动区域的轨迹进行聚类,可以更好利用视频中的轨迹信息。(3)利用3D金字塔池化层代替原有C3D网络中的最后一个最大池化层,以接受非固定尺寸大小的输入视频。增加一个C3D网络对视频中的光流特征进行提取,进一步丰富特征信息,最后通过早融合和晚融合的方式在UCF101数据集和HMDB51数据集上进行实验。实验结果表明,使用3D金字塔池化的C3D网络可以接受可变尺度的视频输入,识别精度也略有提高;双流改进C3D网络的特征融合早融合比晚融合效果更好。