论文部分内容阅读
微表情是一种持续时间极短暂且面部动作幅度很低的特殊人脸面部表情,相比一般人脸表情,其更能反映出人类情感的真实性,可广泛应用于临床医学、司法审讯、国家安防等领域。目前微表情识别主要依赖人工进行判别,存在技能训练时间长、成本高且准确性差等问题。少部分研究者将深度学习方法应用于微表情识别取得了极大进步,但因受微表情数据量不足、图像序列长度不统一、有效特征提取难等因素的影响,微表情识别的准确率仍然较低,难以满足当前的行业应用需求。为此,本文根据现有微表情特征提取方法的不足,研究了基于时间特征与空间特征的微表情识别算法,主要研究内容如下:通过光流近似以及图像翻转的方法对微表情数据集进行增广处理,解决了模型训练过程中因样本不足导致的过拟合问题。采用局部二元特征法实现全局的人脸特征点检测,利用人脸特征点空间位置实现微表情图像的对齐与剪裁。采用基于卷积神经网络的插帧方法对微表情图像序列进行处理,并通过TIM模型进行帧数归一化,有效减少了微表情图像的特征损失。通过实验对比分析,表明了该方法生成的中间帧效果比传统插帧方法更好。针对微表情在空间上动态变化和在时间上连续关联的特性,研究了基于卷积神经网络的空间特征提取方法和基于长短时记忆网络的时间特征提取方法,实现微表情时空特征的准确描述,构建了基于时间特征和空间特征的微表情识别网络模型,该模型利用卷积神经网络提取视频序列中每帧微表情图像的空间特征,并逐个输入至长短时记忆网络,获得微表情帧间的时序动态变化信息,通过全连接层和损失函数计算,实现人脸微表情的准确分类识别。考虑了CNN类型、CNN与LSTM网络结合方式、LSTM网络参数、图像序列长度等因素对于模型识别结果的影响,通过三个对比实验得出了效果最优网络模型,在CASMEⅡ和SAMM数据集上的识别准确率达到了68.19%。最后,通过与LBP-TOP+SVM、DiSTLBP-RIP等4种常用微表情识别模型进行试验对比分析,验证了模型的识别准确性与有效性。