随着智能化时代的逐步到来,人体行为识别作为诸多现实应用和需求的关键技术,已成为当下计算机视觉领域最热门的研究方向之一。早期的研究工作,主要围绕着2D相机采集到的RGB视频进行时空特征的提取。随着深度相机的问世,使得行为识别问题可以在三维空间里寻求解决方案,即基于3D骨骼的人体行为识别。相比RGB视频,3D骨骼数据的优势在于对光照、背景、遮挡等干扰不敏感且数据维数较小,因此基于3D骨骼的人体行为识别具有重要的研究价值。在近几年的研究中,基于深度卷积神经网络的3D骨骼行为识别的方法层出不穷,并取得了突破性的进展。但是,如何通过卷积神经网络来利用人体骨骼数据的拓扑结构信息、如何充分的挖掘骨骼数据中多种特征所包含的潜在关联,以及如何加强对视角变化的鲁棒性等方面的研究尚待进一步深入。因此,本文从多特征、多视角以及多特征之间的潜在关联三个方面,展开了一系列研究。本文的主要工作和特色如下:(1)根据人体的拓扑结构设计了骨节特征,并结合骨骼节点的空间位置特征和时间轨迹特征,共同描述一个骨骼视频。(2)基于欧拉角旋转公式,提出了多视角特征变换算法,通过模拟和综合多个视角下的人体行为信息,来提升对视角变化的鲁棒性。(3)本文提出多特征配对融合网络,来充分利用多种特征彼此之间潜在的关联。同时,为了进一步提升模型的泛化性能,提出了多任务学习配合集成学习的结构,训练模型和结果集成。最后,本文综合上述方法提出了三分支卷积神经网络(3SCNN),并在主流的人体行为数据集上进行对比实验和消融实验,充分验证了本文方法的有效性。