论文部分内容阅读
把人脸表情识别系统应用在现实场景中是人机交互的终极目标，但人脸表情图像往往包含不同的人脸姿态，例如头部的运动和镜头的位置的变换。现阶段多姿态或者姿态无关表情识别系统有两种:(1)为每种人脸姿态分别训练相应的表情分类器;(2)使用单一分类器完成所有人脸姿态的表情分类任务。多分类器需要训练众多的模型参数和冗余的标签信息，而单一分类器却无法去除有关姿态的干扰信息。为了解决这两点问题，本文提出层次主题模型和层次深度模型，用于提取多姿态人脸表情的中间层语义特征与姿态无关表情特征。本文的主要贡献有以下三点: 1)针对人脸表情底层视觉特征无法表达高层语义的问题，提出一种基于语义属、性的人脸表情识别新方法。该方法利用表情语义属性这一中间人脸表情特征表示方法可在个别类别样本很少的情况下共享情感特征信息的特点，通过统计人脸表情AU(Action Unit)编码建立表情语义属性与表情类别矩阵，然后采用SIFT(Scale-InvariantFeature Transform)底层视觉特征训练获得语义属性标注器，最后利用贝叶斯模型识别人脸表情。在CK+和BU-3DFE两个公开人脸表情数据库上的实验结果表明，与其它底层特征提取方法相比，该方法能有效提取表情特征信息并且把8种表情类别的平均识别率提高了4％。 2)针对人脸表情图像中出现人脸姿态、尺度和人物等条件变得复杂时，识别准确率也随之降低的问题，本文提出基于多姿态人脸表情识别的层次主题模型。该方法在表情识别之前，首先结合局部纹理特征和全局几何信息学习人脸表情的中间层特征表示。通过共享不同姿态之间的特征池信息，可以对不同的姿态使用统一的解决方案，而不需要对每个姿态训练相应的模型参数。这种共享特征与模型参数的方法可以扩展到姿态多样的现实场景人脸表情识别系统中。该方法在多姿态人脸表情识别标准库(RAFD、KDEF和BU-3DFE)和网络图像上都取得现阶段较好的识别结果。 3)针对层次主题模型中人脸不正确的特征点信息会干扰多姿态人脸表情特征提取的问题，提出基于层次深度模型的姿态无关人脸表情识别方法。该方法从多姿态人脸图像学习深度特征表示，并且结合主题模型组成该方法的特征学习结构。首先从堆叠的PCA(Principal Component Analysis)滤波器组预学习正脸表情特征向量，以预提取正脸表情特征为标准，使用深度卷积网络(Convolutional Neural Networks，CNN)学习相应非正脸与正脸特征的重构关系。利用该重构关系，正脸和非正脸统一使用CNN提取特征向量作为分类阶段的特征输入。最后，结合单一类依赖主题模型(class-specific-simplex Latent Dirichlet Allocation，css-LDA)作为人脸表情分类器。本文采用包含多姿态人脸和自发表情的两个公开人脸表情识别标准库(BU-3DFE和SFEW)验证本文提出的层次深度模型，实验结果表明该方法的姿态无关人脸表情识别准确率高于当前最好方法。