由于机器学习与深度神经网络的快速发展以及各类高计算量设备的大量普及,人脸识别相关技术已经历空前发展,该技术的市场开发和特定应用也正处于快速增长阶段。近年来人脸表情识别作为学术和工业的研究热点,在人机交互、医疗干预、国家安全、信息通讯和自动驾驶等研究领域内均受到众多研究者的广泛关注。虽然深度网络愈发普及适用,但现阶段表情识别依旧存在着众多挑战,如表情数据集规模不足;表情数据形式过于单一;自然条件下的表情强弱不一,使得弱表情在一般性能优异的深度表情识别网络中识别效果相差甚远;单一模态的表情识别并不能完整地表示人类最真实的情感表达。基于以上问题,本文在数据、识别框架、融合策略这三方面进行整体表情识别结构的探索及调整,研究目的在于改善以上所提到的几点挑战。首先,本文创建了全新的基于自然环境下的多模态表情数据集,针对目前已公开数据集采集条件单一、受试者分布不均、表情强度过于一致等问题作出调整。通过在网络上爬取视频数据及人工剪辑影视片段扩充数据样本的量级,随后将原始数据进行检测、切割、识别处理,并通过众包的形式对表情数据进行人工标注。最后在同一识别网络下将本文创建的带标签表情数据集与现公开常用标准表情数据集进行对比评估,验证其有效性。同时本文数据集以它独有的多模态属性,通过基线实验验证了其实用性相较其他数据集更强。其次,在获得了复杂度更高的表情样本基础上,本文在基于特征融合策略下搭建了适用于动态序列的表情识别模型,并改进损失函数的定义,将人脸识别领域中最优损失AM-Softmax loss与表情识别领域中最优损失Island loss融合在一起,形成新的损失函数,更能有效地降低类内差异和扩大类间距离。通过HEU-Emotion数据集创建过程可知,自然条件下的表情信息强弱不均,且弱表情比例显著高于强表情,因此本文基于强弱表情这一输入概念,改进现有的PPDN网络结构,将其识别阶段的网络结构替换成上述实验中的最优识别模型。同时,为进一步提升表情网络的识别效果,本文应用了注意力机制,在通道域和空间域上串联了SE模块和CBAM模块,改进后的识别性能明显优于无注意力网络。以上实验的改进均是基于单一模态下的探索和验证,所以本文最后在基于多模态表情识别的基础上进行模型融合,意在验证姿态、声音和人脸三种不同模态共同组成情感表达信息,且多模态互补的识别效果通过决策级模型融合验证后被证实显著优于单一模态的识别效果。经过在本文创建的高复杂度HEU-Emotion数据集训练下,最终的实验结果表明,多模态模型融合的表情识别网络对自然条件下的动态表情识别具有较强鲁棒性,准确率更高,对推进表情识别的实际应用发展存在着重要意义。