人体动作识别一直以来就是计算机领域非常重视的课题,对于人与机器交互、视频监控、医疗救助、人类行为异常分析等方面都有极其重要的研究意义。近年来各种短视频软件的出现,使得互联网上的视频数据呈爆炸式增长,传统依靠手工提取人体特征的方法已经不能满足数据增长的需求,这为深度学习的发展提供了机会。由于人的动作比较复杂,利用深度学习方法对人的动作进行识别仍然具有一定的挑战。因此在深度学习方法的基础上,本文的主要工作如下:首先,针对彩色视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出了基于双流独立循环神经网络(Two-Stream Ind RNN,Two-Stream Independently Recurrent Neural Network)动作识别算法。在提取特征方面,时间网络采用分层Ind RNN,对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的Ind RNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用归一化指数(Softmax)函数对动作进行分类。其次,上下文信息对视觉识别准确率的提高有着十分重要的意义。在人体动作识别中,如果不考虑交互对象对人体动作的影响往往会出现一些动作误判。针对这个问题,提出了基于推理网络的人体动作识别算法,算法在Faster RCNN(Faster Region Convolutional Neural Networks)基础上加入长短时记忆神经网(LSTM),结合场景中与人动作相关的物体信息改善人体动作的识别精度。首先通过Faster RCNN提取以人为主要区域、以物体为附加区域的特征信息,然后将其输入到LSTM中进行边框回归以及动作分类,通过将Faster RCNN与LSTM相结合能够获得视频中丰富的空间特征和时间特征,从而得到更精确的动作分类。