随着计算机计算能力的提高和相关数据集的愈加丰富,深度学习在计算机视觉领域的图像分类、语义分割、目标检测等任务上取得了巨大的成功。在视频动作识别任务中,一些主流的卷积神经网络架构已经取得了良好的性能。但是这些常用的网络结构不能很好的学习视频中的上下文信息和视觉属性,这就使得这些深度学习算法对视频图像中具有重要影响作用的区域或信息建模不足。另外动作在视频中的发生时间是不固定的,如何有效地将网络的注意力放到有动作的区域,这一个需要视频动作识别中解决的问题,本文针对基于视频的人体行为识别方法中出现的一些问题进行研究,论文的主要研究内容包括:首先,为了准确检测视频中的异常行为,本文提出了一种基于生成对抗网络的模型。模型首先通过一个生成器对未来的帧进行预测,然后通过判别器将生成的预测帧和真实的帧进行比对,根据比对的结果判断是否出现了异常行为。但是生成对抗网络的训练难度较大,并且生成的图像有时候会出现失真严重,这就导致图像的生成失去了意义,更严重的是会出现模型崩溃的现象。所以本文采用了Wasserstein生成对抗网络,另外考虑原始生成对抗网络的固有缺点,模型仍然无法达到非常好的效果,所以特地引入了条件生成对抗网络,引入光流对模型的运动信息进行约束。在提取光流特征方面,选择当前性能较好的Flownet网络对视频中的场景进行光流提取。将上述改进后的生成对抗网络与变分自动编码器相结合,利用变分自编码器提取特征,对VAE和GAN进行联合训练。充分发挥二者在特征提取和生成性能方面的优点,获得的了更好的效果。通过引入条件生成对抗网络的特性,还可以实现对预测帧生成过程的人为控制,进而提出了本文的模型。最后,本文介绍了视频分析系统主要功能模块的实现,并对其功能进行了测试。通过对这些结果的分析,视频分析系统能够满足对异常行为进行检测的需求,具有很强的工程价值和实用价值。