随着智能设备的普及和信息技术的迅猛发展,视频已经成为人们生产生活中不可替代的信息载体。为了对抗视频数量的爆炸式增长,理解分析视频内容,并扩展应用到现实场景中,有助于提高人们的生产生活水平。本文针对发生在公园、停车场等公共场所中的危险性行为,设计实现了一个基于深度学习的视频行为动作识别模型,为设置在公园、停车场等公共场所中的监控设备添加自动识别并反馈危险性行为的功能,为监控人员提供一种智能化辅助解决方案。本文提出的视频行为动作识别模型是一种通用的双人交互识别模型,借助特定场景下的不同数据集,本文提出的模型可以被拓展应用到其他场合,如智能识别监狱中囚犯的异常行为、辅助理解课堂里学生的交头接耳等。本文在UT-Interaction数据集上训练模型,其中将“推”、“打”、“踢”行为定义为危险性行为,当模型识别出此类行为时会给予一定的反馈信息。为了避免因数据集在规模和多样性方面的有限性而带来的过拟合问题,本文提出了一系列过拟合优化策略:如通过数据增强技术扩充样本集;在模型中引入dropout和BN技术;使用跨数据集、跨任务以及跨模态交叉预训练方法为模型提供有价值的和稳定的权值初始化等。本文首先提出基于注意力机制的循环姿态识别模型,创新性地引入人体姿态估计模型,提取描述人体姿态的关键点和肢干的视频图像空间信息,然后结合Bi LSTM模型和注意力机制,根据视频帧对识别结果的贡献度自动分配注意力权重,建模帧间时序信息。通过实验证明人体姿态估计模型、Bi LSTM模型以及注意力机制等组件能够为模型带来性能上的提高,证明基于注意力机制的循环姿态估计模型在行为识别任务上的有效性,证明过拟合优化策略在解决因数据集小而引起的过拟合问题中起到的作用。基于注意力机制的循环姿态估计模型虽然能够提取视频的时空信息,但它专注于捕捉较粗糙和长期的时间结构,为了保留低级形式的时间相关性,本文采用光流预测模型,引入光流来显式编码视频运动信息,并对深度卷积神经网络结构和光流场取值范围进行适当调整以适应对光流数据的学习。最后本文借助聚合函数联合基于注意力机制的循环姿态估计模型和光流预测模型。实验结果表明两个子模型能够学习到互补的信息,提高联合模型的识别准确率。