视频动作识别是近年来计算机视觉领域研究热点之一。不同于图像信息,视频动作中连续、多变的时空域信息,使得从复杂的交互场景中识别人的动作变得十分困难。为此,本文基于深度学习方法对视频动作识别展开如下研究。1.针对基于2D CNN(2 Dimension Convolutional Neural Network)的动作特征导出缺乏层次性以及动作细节感知能力不足的问题,本论文设计了一种基于时空双注意力网络模型的动作识别模型,多级地对卷积神经网络的视觉感知特征进行导出,旨在丰富动作表征的层级粒度性。同时论文针对CNN-LSTM(Convolutional Neural Network-Long Short Term Memory)网络模型中采用FC-LSTM(Fully Connected-Long Short Term Memory)网络容易丢失空间特征信息以及缺乏对关键特征信息筛选能力的问题,模型设计中先引入了两类LSTM单元对不同层级不同维度的特征进行时序建模,再通过设计时间注意模型和联合时空注意力模型来提高对关键信息的筛选能力。为了权衡层级特征的表征贡献,本文设计了融合模型,时空特征在通过PCA(Principal Component Analysis)降维后进行加权融合,实现了对时空双注意力网络的端到端训练。最后,在多个视频动作数据集上的实验表明,此模型能取得较好的识别精度,同时,可视化分析也展现了模型有效提取关键时空特征的能力。2.针对C3D(Convolution Network 3D)模型的浅层性导致难以深度描述动作规律而影响识别精度的问题,提出了一种基于C3D网络结构展开的残差注意力动作识别模型。针对3D卷积核运算的低效性,该模型首先将3D卷积核沿着时空维度拆解,得到轻量级的2D空间核与多个尺度的1D时间核,以缓解3D卷积核的计算负担。接着通过引入通道注意力与空间注意力机制,赋予模型灵活的特征筛选能力。进一步地,通过堆叠各个残差模块构建残差注意力网络。除此之外,基于所设计的残差网络本文构建了双流动作识别模型,针对双流网络缺乏时空特征交互的缺点,模型采用多级融合策略并结合多层级深度特征对识别结果进行联合决策,以充分发掘双流模型的时空表征潜力。最后通过PCA算法对融合后的特征描述子降维后,训练多分类SVM(Support Vector Machine)作为分类器实现对动作的识别。实验结果表明,设计的残差注意力网络能很好地平衡模型训练效率和识别精度,同时,双流动作识别模型在数据集UCF101的识别效果上也得到了提升,验证了模型的有效性。