人体动作识别是计算机视觉领域中一个十分重要并且十分具有挑战性的课题,它涉及到的应用场景十分广泛,包括人机交互、安防监控、自动驾驶等等。传统的人类动作识别主要是基于RGB视频,但RGB视频存在计算量大、易受光照条件影响、对背景噪声敏感等缺点。得益于人体检测算法的成熟,越来越多的研究集中于基于骨骼的人体动作识别。然而,由于基于骨骼的非栅格化的结构和骨骼点的高自由度,给基于骨骼的人体动作识别带来了两个困难:一个是难以构建合适的骨骼节点空间上的特征提取结构;另一个是难以捕获骨骼点间复杂的时空交互模式。基于此,本文主要对基于骨骼的人体动作识别任务进行深入探究,主要的贡献如下:针对基于骨骼的人体动作识别存在关节点多、自由度大,存在学习困难的问题,本文提出了骨骼点空间域上的多头注意力机制,并针对性提出了两项指导多头注意力学习的优化约束项,分别是空间差异化约束和局部连续性约束。通过对实验的分析和对多头注意力的可视化,我们证明了所提出方法可以有效捕捉到跟动作最相关的骨骼点。同时,我们还进一步开发骨骼序列的二阶特征,使模型更好的捕获动作的多角度特征。同时,针对基于骨骼的动作序列存在动作类别复杂、序列长度差异大,现有的基于时间卷积的方法难以捕获动作的长时依赖特征,本文提出嵌入图卷积的长短时记忆神经网络(LSTM)模型。LSTM模型是常用序列模型,相比RNN模型能更好的解决学习长序列时出现的梯度消失或梯度爆炸的问题。而把图卷积嵌入到LSTM模型中,能同时学习动作序列长时和短时的时空交互特征。同时,我们提出了两种双向的嵌入图卷积的LSTM模型结构,能让模型学习到更复杂的时空特征。对比实验的结果表明,我们所提出的模型相比基于时域卷积的模型取得了更好的实验结果。最后,我们提出了一个基于动作预测的多任务学习框架。在人体动作分析中,人体动作识别和人体动作预测往往被当做两个独立的任务被研究。本文把动作识别和动作预测这两个存在较强相关性的任务一起学习,让动作预测支路引导动作识别模型去关注更多的动作细节。实验的结果证明了引入动作预测支路可以进一步的提升模型的结果。