智能视频监控系统在特定场景中对停留或经过的目标进行实时监视，其主要目标是自动提供场景描述，并根据观察到的信息对目标行为和目标间的交互进行理解和预测。作为对传统视频监控系统的革新，智能视频监控系统正越来越受到人们的重视。对于视频序列中人体异常行为的分析识别是智能视频监控领域中日益受到重视的一个研究方向。基于人体异常行为分析的智能视频监控系统不仅能忽略大量监控系统中对安防无用的信息，能够高效地完成保障安全的任务，还能节省大量的人力物力，给社会带来很大的经济效益，并且能够实现即时报警，解决了传统监控系统的事后性问题。本文从认知心理学角度出发，针对现有人体异常行为分析识别技术存在的人体运动难以精确检测和跟踪、人体异常行为模型难以精确定义、人体异常行为判决难以解释和缺乏实时性等问题，提出了基于语义主题模型的人体异常行为识别方法，以“低层运动词包建模—中层人体行为语义建模—高层异常行为语义识别”为路线展开研究，以下所提出的算法均在实践中进行了应用。本课题研究的难点在于如何使计算机能够从人的认知角度理解监控场景中人体行为的语义信息，有效辨别各种人体行为类型之间的相似性。本文的主要贡献如下：1)针对基于传统语义主题模型的人体行为建模方法中，传统语义主题模型（例如：LDA和PLSA模型）仅仅关注运动词汇的语义而忽略运动词汇间的时序关系问题，提出了隐马尔科夫主题模型（Hidden Markov Topic Model, HMTM）。HMTM模型是关注运动词汇时序关系的隐马尔科夫模型（Hidden Markov Topic Model,HMM）和关注运动词汇语义的主题模型（Topic Model，TM）的组合模型，其不仅能捕捉运动词汇间的时序关系，而且能建模运动词汇间的共现关系。HMTM模型克服了语义主题模型在检测精度和鲁棒性上的不足，能比较好地实现监控场景中人体行为聚类的任务。2)针对具有较长时间跨度的人体复杂行为建模问题，提出了协同聚类主题模型（Co-Clustering Topic Model, CCTM）。CCTM模型是基于已有的协同聚类算法（Co-Clustering Algorithm）和主题模型构造，能同时地聚类视频序列和运动词汇。CCTM模型是一个四层主题模型，该模型将视频序列（video）建模为行为的随机组合，同时行为是视频序列中某些视频剪辑（clip）的概率分布；而视频剪辑建模为动作的随机组合，同时动作是视频剪辑中视觉词汇的概率分布。CCTM模型不仅能捕捉运动词汇之间相关性，而且能建模动作（主题）间的相关性；同时改进了传统协同聚类算法的可解释性。CCTM模型克服了传统协同聚类算法和主题模型在人体复杂行为建模过程中测量精度、鲁棒性和计算效率上的不足，能比较好地实现监控场景中行为聚类的任务。3)针对CCTM模型仅仅关注行为间的语义而忽略行为间的时序关系问题，提出了主题隐马尔科夫层次模型（Topic Hidden Markov Model，THMM）。THMM模型是基于已有的马尔科夫模型和主题模型构造，不但聚类运动词汇成简单动作，而且聚类简单动作成全局行为，同时建模了行为时间上的相关性。THMM是一个四层贝叶斯主题模型，该模型将视频序列建模为行为的马尔科夫链，同时行为是视频序列中某些视频剪辑的概率分布；而视频剪辑建模为动作的随机组合，同时动作是视频剪辑中视觉词汇的概率分布。THMM模型克服了传统隐马尔科夫模型和主题模型在在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足，能比较好地实现监控场景中行为聚类的任务。4)针对语义主题模型只能进行离线和批量推理（即:分类判别）的问题，提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验（Likelihood Ratio Test，LRT）的实时正常行为分类方法，克服了实时行为识别过程中由于缺乏充分视觉证据而引发的行为类型歧义，能比较好地实现监控场景中实时异常行为检测和在线正常行为识别的任务。该方法首先引入一种运行时累积的测度在线判定新出现的人体行为是否异常，然后进一步采用在线LRT方法实时判断正常行为属于哪一种人体行为类型。在线LRT方法是基于获得充足视觉证据做出的识别决策，并且是在尽可能短的时间内确保鲁棒性的异常检测和行为识别。5)针对语义主题模型只能进行离线和批量推理（即:分类判别）的问题，提出了一种Fisher核函数（Fisher Kernel）和基于在线单类Fisher核支持向量机（Fisher Kernel Online One-class Support Vector Machine, FK-OOCSVM）的在线异常行为检测方法，克服了语义主题模型难以适应小样本空间和实时检测的不足，能比较好地实现监控场景中实时异常行为检测的任务。Fisher核函数是一种“语义核”，其基于语义主题模型的概率分布测量两个视频序列内容上的相似度。FK-OOCSVM方法将异常行为检测归结为孤立点检测问题，首先通过语义主题模型将行为实例映射到固定维度的线性空间，再通过单类支持向量机（One-class SVM）检测孤立点，从而实现异常行为检测。