面部表情作为人类传达情感最自然,最直接的方式,在人类情感分析的研究中一直占有重要的地位。随着软硬件技术的不断进步以及人工智能理论的持续发展,面部表情识别将在辅助生活,社交娱乐,人机交互等多个领域中具有更高的实用性和普遍性。如今,实验室场景下的面部表情识别已经有比较成熟的应用。而对于自然场景下的面部表情识别是一项重要且富有挑战性的任务。本文的主要研究内容如下:1.本文研究一种基于内容和风格解耦的表情图像生成算法。本文首先利用FACS工具提取得到各类表情的动作单元信息,随后再分别设计出两个不同的编码器,对输入的表情图像进行内容和风格的解耦,以便获取对应的内容和风格编码;接着将动作单元信息和风格编码进行融合,融合后的信息经过自适应实例归一化之后,作为网络解码器的输入用来控制表情的生成。利用此算法获得的表情数据,充实了表情识别数据库,为进一步进行表情识别打下坚实的基础。2,本文研究一种基于聚类和梯度融合的注意力掩膜生成算法。本文首先采用多种聚类算法对表情图像的标记点信息进行聚类分析,获得人脸标记点的一般性聚类特性;然后基于聚类的结果对人脸区域进行划分,计算每一个划分区域以及整个人脸的梯度直方图,构建概率分布模型,计算各子区域与整体图像之间的相关系数获得对应非重点区域的权值矩阵;最后计算每一个标记点及其邻域的权值矩阵,将其合并到注意力权值矩阵中,从而完成注意力掩膜的构建,进而获得注意力掩膜。3,本文研究一种基于深度注意力机制的表情识别算法。本文首先设计了伪孪生网络,两个分支分别是内容分支,注意力分支。内容分支使用类似MobileNet的结构,用来获取表情图像中的语义信息。注意力分支采用编解码器的结构,用来获取图像的结构化信息;在输入方面,原始表情图像作为内容分支的输入,掩膜图像作为注意力分支的输入;随后将两分支的输出在多个尺度上进行融合,以实现对注意力区域的增强;同时采用全卷积的方式,缓解全连接网络中易过拟合的问题。