人体行为识别作为计算机视觉和模式识别的热门研究方向,已经在人机交互、智能视频监控、运动分析和医疗辅助等诸多领域得到广泛地应用。人体行为识别是指从视频图像识别人体行为动作同时完成对人体目标的定位跟踪。近年来,大数据技术的发展推动了人体行为识别研究的进步。如何在采集少样本数据集的前提下,迅速获取视频图像中人体行为的信息,使视频数据成为可直接利用的信息资源,仍是需要我们研究的课题。本文在采集少量人体行为样本的条件下,实现了一个人体行为识别系统,所完成的工作主要有以下几个方面:（1）从人体局部特征入手,利用人体姿态识别方法、机器学习和目标跟踪相关技术,能够实时地识别单人、多人的人体行为动作并且定位跟踪人体目标。（2）采用人体姿态估计算法获得人体关键点位置,利用15个关键点的坐标,构造人体空间特征集合,包括3个子集:人体局部坐标特征描述子集、局部方向矢量特征描述子集和局部方向矢量特征描述子集。通过加权融合,构成人体行为局部描述子,完成人体行为动作特征提取。（3）依据中心极限定理和极大似然估计原理,设计人体行为数据生成器,产生大量相似样本,完成少样本数据增强,改善原始行为动作数据集样本量不足的情况。（4）利用机器学习相关技术构造多种人体行为分类算法,在本文的增强行为数据集上进行训练优化,对分类模型的性能指标进行比较,选择性能最优的分类模型完成人体行为分类。（5）通过人体姿态估计算法获得的关键点位置进行人体目标区域的定位,采用基于SORT改进的Deep SORT算法完成对人体目标的跟踪,对本文设计的人体行为识别系统在测试数据上进行性能测试,研究结果表明,该系统对5种行为动作,表现出了良好的识别效果和泛化能力。