当前，人体行为识别与理解已是计算机领域和人工智能领域中颇受关注的研究方向，因为人体行为识别与理解在智能监控、高级人机交互、虚拟现实、运动分析、视频检索等领域有着广泛的应用范围和很高的实用价值，研究人员对其进行了广泛而深入的研究工作，并取得一定的成就，但是还有很多问题尚未解决彻底。本文在分析总结国内外人体行为识别与理解的研究工作的基础上，针对目前各种条件随机场模型所存在的问题，提出分数标记概念，建立分层分数条件随机场模型。主要研究内容如下：本文总结了国内外行为识别研究内容、研究方法以及实际应用，并对行为识别所存在的问题进行了总结；对行为识别过程中的图像预处理、特征提取、表征方法、数据库选择进行了总结，并对这些方法进行了深入分析；详细阐述了条件随机场模型的建立以及推断，并与其他模型进行了比较，并分析了条件随机场的优缺点，介绍了实际应用情况。针对数据库中短小视频的目标检测，本文提出了基于混合高斯的背景减除算法，该算法利用混合高斯模型迅速得到背景，然后利用背景减除算法迅速得到目标，可以有效的消除光照影响，有效直接出视频提取目标，为后续特征提取以及行为识别奠定了良好的基础。针对概率图模型中的传统标记方法不能反应当前类标记的完整性和方向性的问题，提出了分数标记的概念，利用分数标记检验该类行为的序列是否完整、是否准确标记，同时可以给出该类行为序列的方向，从而对标记序列做有效的检验，解决标记偏差问题。由于条件随机场可以全局归一化，可以解决标记偏置问题，又避免了独立性假设，很好的符合生活应用中的人体行为描述及建模。由于分数类标记的计算量过于庞大，提出了分层分数条件随机场模型，模型分为上下两层，上层首先进行识别，得到相应的视频段，对视频序列进行整数标记，所识别的结果作为下层输入，将它输入下层，进行动作识别并进行分数标记，输出结果，得到的结果是一组分数标记，进一步分析这组分数标记的方向性和完整性，验证这段视频标记是否满足一个行为的连续性，进而修正识别结果，提高算法对人体行为的识别能力。该模型融合了HCRF模型的长处，利用分数标记对结果不断修正，在处理复杂人体动作识别时更加细微、精确，具有很强的优势。针对动作转换时的过度帧，能够很好的进行修正，提高了识别的稳定性和准确率。该模型与CRF、HCRF、LDCRF模型进行实验比较，结果表明，本文算法在人体行为识别方面具有很好的效果。