随着人们对公共安全的关注以及监控设备的普及,通过人力对监控视频中的人体行为进行分类存在着效率低、成本高、误检率高等问题,如何高效、准确地对视频中的人体动作进行分类,从而分析视频中是否有异常行为是计算机视觉方向一个重要的研究课题。本文基于双流卷积神经网络,运用光流图像和彩色图像作为网络输入,进行动作分类和异常行为分类。相较于应用特定的人工提取特征,卷积神经网络学习能力强,但是需要大量训练数据,而且容易造成过拟合。为了解决这些问题,我们需要对图像样本进行信息增益,并适当调整网络结构,以便在异常行为分类任务上获得较好的效果。本文针对异常行为分类任务,通过整合不同数据集,构建了涵盖生活中常见动作和异常动作的视频数据集。在特征表示方面,选用光流法来表达视频动态信息,针对传统光流计算慢、空帧多等缺点,提出了自适应光流法来准确地表示运动时序信息,并通过对多帧光流图像进行叠加获得动作的动态趋势信息。由于异常行为分类任务复杂、数据样本缺乏,我们使用随机裁剪、翻转等信息增益方式来增加样本数量、防止网络的过拟合。在网络模型方面,加深原有的双流CNN网络层次,通过调整超参数、改变网络结构等具体方式,来增强网络的学习能力和泛化能力,以提高异常行为分类的准确率。最后,本文比较了改进后的网络模型和原有模型以及人工提取特征在异常行为分类任务上的效果,并且定义不同环境下的异常行为类别,最终达到针对不同环境中的异常行为进行分类的目的。