人体行为识别技术融合了计算机视觉、数字图像处理、人体运动学等多学科知识,对其研究可以促进相关学科共同发展。同时其在人机交互、无人驾驶、智能机器人、智能监控等领域有着广泛的应用和巨大的经济价值。由于人体行为识别技术兼具理论意义与现实意义,其已成为计算机视觉领域中最为活跃的研究主题之一。准确的获取时空信息是人体行为识别的关键所在。目前主流的行为识别方法存在局限性,如不能提取最显著的空间信息,不能消除背景变化的对识别准确度的影响等。此外,当前方法还存在着提取时间信息时只关注于“帧间运动”或“视频全局运动”的问题。本文为解决上述问题,重点研究如何获准确的提取时空信息,提出了两种基于时空信息的人体行为识别方法:针对当前行为识别模型提取时间信息时易受背景干扰及不能提取最显著的空间信息的问题,本文提出了运动人体关注推理模型。该模型受人脑初级视觉皮层启发,使用时间通路和空间通路分别提取视频中的时间信息与空间信息。结合Focus Block、卷积神经网络和长短记忆时间网络的优点从视频序列中提取时间信息,结合卷积神经网络与全局最大池化操作提取视频中最为显著的空间信息,时间信息与空间信息提取出来后经过拼接层、全连接层等融合为时间信息进行分类。引入了贝叶斯推理块对预测的结果进行校准,用以得到最终的人体行为分类。最终在UCF101和HMDB51数据集上对文中所提方法进行实验论证,实验结果表明基于运动人体关注推理模型的人体行为识别模型可有效提高行为识别准确率。针对当前行为识别方法提取时间信息时只关注于“帧间运动信息”或“全局运动信息”的问题,同时为了精简模型参数降低对实验硬件的要求,进一步提出了基于多尺度运动信息的人体行为识别模型。该模型分别通过时间通路和空间通路获取视频中的时空信息。为了自动从视频中提取多尺度运动特征图,时间通路中使用多尺度运动特征提取器对视频图像做加权累计帧差。融合区对时间信息和空间信息进行拼接融合,最后送入预测区进行分类。最终在UCF101和HMDB51这两个常用具有挑战性的数据集上对文中所提方法进行实验论证,实验结果表明基于多尺度运动信息的人体行为识别模型可以在降低模型储存空间与时间复杂度的同时提升行为识别的准确率。