当前,视频监控系统应用广泛,然而对于传统的监控系统而言,其自主识别能力较弱,因其过于依赖人的处理而很难真正满足当前社会的需求,所以需要一种更加智能化的视频监控系统对异常行为进行实时监控,从而解决当前监控系统自主识别能力弱的问题。因此,本文主要以真实场景使用为前提,以深度学习为基础,运用卷积神经网络设计了级联网络算法来对异常行为进行检测。同时开发了一套智能监控平台,把异常行为算法运用到监控平台中,以弥补传统监控视频在异常发生时不能够第一时间得到报警通知、事后查找难度大的缺陷。本论文研究并实现了基于卷积神经网络设计的异常行为识别和定位的深度学习算法,具体工作如下:1.设计了主要针对打架等异常行为的级联网络,第一阶段为行为初筛阶段,这一阶段允许较高的容错率,本文命名为FANet(Fighting Attention Net)网络。该网络以改进的残差网络作为基础框架进行特征提取,通过连接不同尺度的特征层来实现多尺度的特征融合。在特征网络中引入更多的非对称卷积来减少网络计算量。使用并优化了RPN为行为进行分类和定位,使用了ROI Align让特征图固定尺寸输出。初筛得分达到阈值后根据异常发生的起点为初始点截取连续视频帧传入到第二阶段网络,第二阶段网络本文命名为MP-R3D(MultiPath-Res 3D Convolutional Net),该网络在使用多纤维网络的基础上在浅层用2D卷积,深层用3D卷积,以减小训练时复杂的时空融合及3D卷积巨额的内存消耗,且不会降低行为识别率。2.分别对级联网络进行训练后融合,使其都具有高精度行为识别的能力。修改了网络的输入方式,使得GPU利用率提高了44.2%。使用视频解码器来取代直接拉取RTSP视频流的方式,使检测网络可以多路并发检测。制作了针对异常行为的数据集,与大多数短序列公开数据集不同,在数据集中包括了带有坐标信息的图片集和剪辑好的视频集,丰富多样的数据集更接近真实场景。3.结合设计的级联网络算法实现了一套视频监控系统。该监控系统为C/S架构,当网络视频流接入到平台后能够对其进行实时异常行为监控,在发生了异常后能第一时间发出报警给端用户,并且保留相关视频片段和报警日志便于事后追溯。