人体行为识别是给计算机输入一段视频或者图像序列,根据提取出的视频特征,对视频中人体所做出的行为进行分类。人体行为识别作为视频理解的核心技术,在场景监控,信息检索等实际场景中具有广阔的应用前景和重要的社会价值。随着深度学习的发展,基于深度学习的行为识别方法受到了国内外学者的广泛关注。目前,双流卷积神经网络是基于深度学习的人体行为识别研究的重要方法之一。双流卷积神经网络分为空间流和时间流两个组成部分,时间流提取的行为运动信息作为空间流提取的行为外观信息的补充,有效的提高了行为识别的准确率。但是,双流卷积神经网络中空间流和时间流均采用单一大小的卷积核,无法捕获到复杂视频环境中不同尺度的物体,对部分易混淆行为存在误判。本文针对这一问题展开研究,完成的主要工作如下:1.针对双流卷积神经网络无法提取视频中多尺度特征的问题,提出了基于多尺度双流卷积神经网络的人体行为识别算法。通过把金字塔型卷积分别运用到空间流和时间流中,增强了单支流对不同尺度物体的识别能力。金字塔型卷积采用不同大小卷积核捕获多尺度信息,实现了多尺度识别,提高了行为识别的准确率。2.针对神经元不能自适应选择卷积核大小而导致不同尺度物体识别率低的问题,提出了融合注意力机制的多尺度双流神经网络识别算法。该算法利用通道间的注意力机制融合不同大小卷积核输出的特征图,进一步将不同尺度的信息进行融合。同时,针对通过通道特征向量进行降维获取注意力权重的方法会带来信息损失,提出了通过一维卷积的方式避免对通道特征向量进行降维,使获取的注意力权重更加精准,另外根据卷积核分支的数量,通过多次一维卷积生成不同卷积核的特征向量学习注意力权重的方式相比于共用一个特征向量学习注意力权重的方式,提高了卷积核的独立性,降低了耦合性,进一步提高了识别准确率。本文通过在UCF-101数据集上进行实验并对结果进行分析,验证了本文方法的有效性。