论文部分内容阅读
人体动作识别一直是计算机视觉领域研究的热点,得到了学术界和企业界广泛的关注。深度相机和机器学习的结合应用使得目标检测与分割任务的难度有所降低。它们也为姿态估计和人体动作识别研究提供了新的思路。如何使用深度数据提高人体动作识别系统的性能,是目前亟待需要解决的一个重要问题。本文针对基于深度图像的人体动作识别这一课题展开研究,研究内容包括底层特征提取、中层特征编码、动作分类模型等几个方面。本文的主要贡献包括:(1)提出了一种基于骨架关节点运动轨迹的人体动作识别方法为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法。受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹来表示人体动作,它能够在时空维度上对动作进行完整表达。在此基础上使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化。考虑到动作识别任务的实时性需求,提出基于超限学习机的动作识别,以此提升动作识别任务的实时性和准确率。最后,通过在公开数据集上进行实验,实验结果验证了该方法的有效性。(2)提出了一种基于关节间夹角序列的人体动作识别方法针对人体动作识别中的复杂背景和视点变化问题,提出一种基于关节间夹角变化序列的动作识别方法。受机构学和机器人学的启发,使用相邻关节间夹角和非相邻关节间夹角变化序列来表示人体动作,然后使用K近邻分类器对动作进行分类。由于不同个体的动作持续时间不尽相同,因此使用动态时间规整算法计算样本之间的距离。最后,在UTD-MHAD和KARD数据集上进行了实验验证,结果证明了该方法的有效性。(3)提出了一种基于深度运动投影和时域分割的人体动作识别方法提出了一种有效的基于深度运动投影(depth motion maps,DMM)的人体动作识别方法。为了克服传统特征描述子的不足,引入了Gabor滤波器组对DMM进行特征提取;为了弥补DMM在时域表达上的不足,提出了时域分割的策略来刻画时域信息。最后,使用分类器对人体动作进行分类。实验结果验证了该方法的有效性。(4)提出了一种基于3D运动历史图像和多任务学习的人体动作识别方法针对深度图像序列,在3D运动历史图像的基础之上,提出一种基于Gabor特征提取和多任务学习的人体动作识别方法。为了解决传统基于轮廓特征对运动历史图像不能充分表达的问题,引入Gabor滤波器组对3D运动历史图像进行特征提取。为了刻画在不同时间维度上人体动作的变化过程,引入时域金字塔的策略对动作视频进行划分。最后为了挖掘动作识别任务间的相关性,引入了多任务学习训练动作分类模型。实验结果表明,该方法明显优于现有方法。本文的研究成果可为人体动作识别相关应用领域的深入研究和应用实践提供理论和技术支持。