随着社会经济的不断发展与城市化进程的不断推进，视频监控系统作为重要的防范工具，已经被广泛的应用到公共安全，交通，银行等重要部门。然而，传统依靠人工监控视频有种种弊端，不仅需要投入大量的人力资源，而且长时间的监控会引起监控者视觉疲劳与注意力下降，造成错报与漏报现象。对视频图像进行实时的分析，可以检测出人体的异常行为。本文以监控视频分析为主要研究内容，结合人体异常行为的特点给出了相应的异常检测算法。针对不同的场景，本文提出的算法有很好的实时性与适用性。针对人体异常行为的检测，本文主要做了以下工作：(1)针对不同场景采取不同的检测算法，以提高检测效率与减小误判可能。(2)在背景建模时，本文改进了传统的混合高斯模型建模的方法，使目标前景的提取效果更为显著。(3)对于单人场景，本文给出了基于Adaboost学习算法的人脸检测算法，将人体中的面部提取出来，对于面部遮挡现象发出警示信息；在面部检测的基础上，本文提出一种有效训练人体特征库的方法并给出其实现过程；在剧烈运动识别的过程中本文分析目标前景轮廓的变化，与正常状态进行比对来判定异常行为，并运用连续帧差的做法避免视频中某一瞬间异常而造成的判别失误。(4)对于多人场景，本文采用提取人体外接矩形后根据外接矩形的形状与位置来分析异常行为，以最大限度提高判定的准确率。