近年来,随着交通的快速发展和居民生活质量的提高,人们为了行动方便,大多都会选择乘车出行。然而近几年乘客与驾驶员之间因争执造成的事件层出不穷,甚至存在生命威胁。因此在行车过程中,为了保证人身安全,主动实时的监控车内有关人员的行为动作,对其动作进行识别和检测,并对异常行为提供预警是十分必要的。本文主要是对车内视频监控场景下的异常行为进行智能识别与分析,其中将该场景中的异常行为分为威胁型和攻击型两种,并利用不同的方法分别进行识别研究。主要工作如下:(1)对于车内威胁型的异常行为,包括持刀、持棍、捂嘴、蒙眼、掐脖子,主要以深度学习为基础构造了实时异常行为检测的神经网络结构。为了满足检测系统的实时性,本文选用了端到端的目标检测算法YOLO对其行为以及物体进行简单识别,初步得到人物行为和物体类别。并针对项目的实际应用情况,对原始YOLO网络进行了改进。其次在实际的场景中,人物所做出的行为与其身边的物体具有一定程度上的关联性。考虑到此种问题,本文将在场景中识别出的人物行为和交互的物体进行关联,在识别出目标特征情况下,对这些特征进行融合,然后对人物特征与交互物体特征联合计算来得到具体行为。最后将改进的网络结构在自行采集的车内视频数据集以及PASCAL VOC2012行为数据集上进行相关的实验,研究的结果表明,本文提出的针对车内威胁型异常行为识别的神经网络结构在增快了检测速度的同时还提高了识别率。(2)对于车内攻击型异常行为的识别,本研究主要通过光流法来实现。因为相比于正常场景,突如其来的打斗通常伴随着幅度大、速度快且无序的运动,参与者的特征点光流会发生明显变化,并且连续帧间的变化没有一定的规律性。本文首先对目标的特征点进行提取,用它们来代替描述运动物体,根据分析,选用Harris角点法来提取目标特征。接下来利用金字塔Lucas-Kanade光流法对提取到的特征点进行跟踪,形成光流场。通过光流场中的光流矢量信息提取行为的运动特征,将计算得到的运动特征值与预先设定的阈值进行比较来判断行为是否存在异常。最后,通过对采集到的视频数据进行实验测试,验证本文设计的车内攻击型异常行为检测方法的可行性。