微表情通常是人们为了遮掩自已内心的真实情感而无意识表现出的一种特殊的表情,通过识别这类表情能够推测出一个人的真实情绪。因此,微表情识别作为心理学和计算机学的交叉研究在刑事审讯、临床诊断、心理治疗、情绪分析、安防等领域有着巨大的应用价值。微表情识别难点可总结如下:(1)微表情产生的肌肉变化是局部性的,而且变化的幅度很低,非专业人士难以察觉;(2)微表情在面部停留的时间很短,一般是在1/25秒到1/5秒之间;(3)就数据集而言,现存的微表情数据集中的样本个数有限,而且不同类别所包含的样本数目是不均衡的。随着智能图像信息处理技术的进步,一些研究人员使用特征描述符从原始图像中提取特征。然而,如果让网络从输入的原始图像中提取特征,那么将很难准确地获取到面部细微的变化信息。因此,后有研究者借助光流法来获取微表情的动态特征。此外,早期的网络模型采用的是卷积神经网络以及长短期记忆网络组合起来的形式来完成微表情识别。在样本不足的情况下,这种复杂的网络结构很容易致使模型在训练阶段产生过拟合的问题。研究者们通过引入迁移学习和数据增强技术来克服训练样本不足的困难,但这显然在训练阶段需要花费更多的时间。目前,一些研究工作倾向于设计浅层多流网络来提高模型在小数据集和样本类别数目不平衡情况下的识别性能。在本文中,我们并没有使用通过组合不同网络序列或者设计多流结构来提高模型识别性能的求解方法,而是考虑到不同微表情样本运动幅度不同导致在网络中不同层提取的信息重要程度不同,例如,变化相对较弱的微表情特征可能会在网络的深层丢失,这将影响模型的分类性能。为了在单流的网络结构中充分利用不同层次的信息,本文对多层次特征联合的微表情识别算法进行了研究。本文方法具有以下创新点:(1)为了更好的捕捉面部微表情的运动信息,本文通过计算每个微表情序列中的起始帧和顶点帧之间的光流来生成微表情光流图,该图是一种RGB图像,其中,不同的颜色代表不同的光流方向,颜色深浅代表光流强度的高低。(2)为了使网络能够学习到相对长期的依赖关系,本文使用结合不同层次特征信息的方法,对用于微表情识别的多层次特征联合的网络模型进行了研究。本文首先在图像分类领域性能表现不错的深度学习网络上通过加入跳跃连接的方式将多个层次的特征进行融合来提高模型的识别性能。然后针对基于跳跃连接网络中的不足又设计了一个新颖的多层次特征联合的微表情识别模型。该模型中所设计的特征联合模块可以结合不同卷积层提取的信息,在网络的最后部分通过融合策略将多个模块输出的结果结合起来。(3)对于本文进一步改进的模型(多层次特征联合的微表情识别模型)无需额外地使用数据增强技术、迁移学习技术便可以在样本量少的数据集上达到可观的分类效果。本文在四个经典的数据集上做了大量的对比实验,和该领域先进的算法相比,本文所设计的微表情识别算法利用起始帧和顶点帧生成的光流图作为模型的输入有利于模型学习微表情的动态特征。另外,所设计的特征联合模块充分利用了网络中不同阶段的特征,有助于捕捉不同幅度的特征信息。相比于其他的微表情深度学习方法,本文所设计的微表情识别算法中并没有组合多个网络,也没有采用多流的网络结构,而仅仅是通过利用网络中不同层的特征来提升模型对微表情的识别性能。