视频人体动作识别是计算机视觉领域中尤为重要的一名成员,它广泛应用在智能监控、视频检索和人机交互等领域,受到了很多研究学者的关注。随着深度学习在各个领域的渗透发展,研究学者将深度学习方法应用到视频人体动作识别中,但大多数算法在背景复杂、目标不单一和干扰较多的场景中的识别效果不尽人意。针对这些情况,本文围绕着计算机视觉研究的初衷—模拟人类视觉系统的信息处理机制,提出建立一个整合视觉注意机制与深度学习的人体动作识别系统。首先,利用时空相关卷积长短时记忆ConvLSTM单元给出时空信息特征的提取方式。ConvLSTM结构是卷积神经网络和长短时记忆网络的高效结合体,既吸纳了卷积神经网络的优点,即模拟视觉系统感受野的属性提取空间位置特征,又保留了LSTM在长时序序列问题上的联想记忆功能,因此该结构能够同时提取视频中的空间信息和时间信息,保证视频序列帧与帧的运动信息不丢失,这种时空不分离的特征能够一定程度地提升系统的识别性能。其次,基于人类视觉注意机制的基本原理和信息处理过程,建立了深度学习注意机制与长短时记忆网络(LSTM)相结合的AttenLSTM单元。该单元的实质是模拟人类视觉注意机制,以某种特定的方式对视觉信息进行注意力分配,有选择性地扫描每一个位置,给予人体动作发生的区域更多的关注,而这些关注用向量形式来表示,向量中每个元素在0到1之间取值,每一元素的值就是分配给同一时刻不同位置的权重,最后将权重向量与原来的特征向量进行加权求和。最后,通过改进普通编码器-解码器LSTM模型搭建网络框架。鉴于本文的研究对象是包含图像信息和时序信息的视频,本文不能用普通的LSTM完成编码解码过程,因此采用ConvLSTM结构代替LSTM基于Darknet网络模型来编码视频包含的时空信息,解码阶段则用AttenLSTM结构取代普通的LSTM,由于其独特且有效的权重分配方式,一方面可以增强上下文信息的关联性,一方面减少了冗余的信息加工。为了证明本文模型的有效性,本文选择在KTH数据库和UCF101数据库上进行性能测试,这两个数据库具有很强的代表性,KTH数据库背景简单,干扰较少,动作类别仅有6类,而UCF101数据库背景复杂,遮挡干扰较多,动作类别多达101类。通过对比分析得到的实验结果,可证明本文提出的整合视觉注意机制与深度学习的人体动作识别系统具有良好的识别效果。