人体动作识别是计算机视觉的重难点问题,是进行场景理解和人际交互的基础,在视频监控、虚拟现实、自动驾驶等领域有着广泛的应用。本文主要研究基于RGB信息的动作识别,相较于Kinect获取的RGB-D视频,RGB视频的数据量更大,应用面更加广泛。目前采用主流的算法是一种是卷积神经网(CNN)进行特征抽取,循环神经网(RNN)进行时序信息学习,最后进行分类;另一种是将空间和时间的特征融合,统一进行学习和分类,如3DCNN和CNN联合池化等。目前大多数深度学习算法关注的是网络结构,通过改变模型结构和微调数据集来提升模型的性能。而实际上,视频图像中包括丰富的视觉线索,静态的包括背景和物体,动态的包括场景变化,人体的姿态和运动状态等等。如何选取和融合有价值的视觉信息,是视频动作学习问题面临的新挑战。针对上述问题,本文利用光流信息和人体姿态信息作为视频中动作信息的补充,采用CNN进行空间域的特征提取,利用长短期记忆网络(LSTM)进行时间域的训练学习,最后在光流和姿态模型的基础上,结合场景特征模型进行融合估计。本文的研究工作主要如下:1.研究了姿态识别问题的难点,并结合具体场景进行了应用。对人体姿态识别问题进行了研究,重点介绍了卷积姿态机(CPM)方法。结合生产线流水操作的实际场景,利用卡尔曼滤波算法实现了对多个操作人手臂的实时跟踪,并对实验结果进行了分析。2.利用一种深度卷积网络,实现了动作图像的语义分割。针对全卷积网络(FCN)精细度和运算效率有限的问题,使用了一种深度编码-解码网络框架(Fast-Net)进行人体部位分割,并将条件随机场(CRF)嵌入到网络中进行优化。在MPII和AI Challenger数据集上进行了实验,证明了该算法在正确率和效率两方面的提升。3.基于光流和姿态信息,提出了一种多模型融合的动作识别框架。该框架将深度学习(Flow-Net)得到的光流图,图像分割(Fast-Net)得到的姿态图以及原图作为输入,分别通过CNN和RNN建立多通道模型,最终对动作分类结果进行融合。在动作识别主流数据集HMDB51和UCF101上进行了实验,主要从准确率的角度对实验结果进行了分析。实验证明了使用人体姿态和光流信息能够有效提升检测准确率。