人脸表情识别（Facial Expression Recognition,FER）是指利用计算机技术获取人脸表情图像、检测人脸表情区域、提取表情特征和对表情特征进行分类的过程。由于人脸表情识别研究在计算机视觉领域占据着重要的地位,而且也是实现人机交互的关键技术,所以吸引着国内外学者的广泛关注和深入研究。目前,人脸表情识别技术的发展遇到了两个关键性难题:（1）人脸图像中头部姿态的偏转造成面部配准误差和面部遮挡,导致难以获取有效的表情特征信息;（2）缺乏足够的训练数据造成训练过程中的过拟合。本文基于生成对抗网络（Generative Adversarial Networks,GAN）提出了一种端到端深度学习框架。在我们所提出的框架中,首先介绍了一种基于ShuffleNet-v2架构的树突状卷积神经网络模型用来估计图像中的人脸姿态。然后,基于框架利用不同的姿态和表情来同时进行人脸图像合成和不同姿态的人脸表情识别。本文研究所提出的方法能够有效地解决非正面人脸表情识别中遇到的问题,具有一定的实用性。本文的主要工作以及创新如下:（1）为了能够在非正面的人脸表情识别中估计人脸姿态,我们提出了一种基于ShuffleNet-v2架构的树突状卷积神经网络模型。该模型使用单个卷积神经网络对人脸特征点的树突状结构进行建模,模型基于ShuffleNet-v2网络架构实现,因此能够在较少参数的情况下维持较好的性能。为了证明方法的有效性,我们分别在AFLW,AFW和300W数据集上进行了大量的实验。通过从人脸特征点定位的归一化平均误差,人脸姿态的估计误差,精确率和召回率四个方面进行实验分析,并与现有的方法进行了比较,结果表明本文提出的算法具有人脸特征点定位准确度高,人脸姿态估计误差低,较好的精确率和召回率的优点。（2）为了提高基于ShuffleN et-v2架构的树突状卷积神经网络模型对人脸姿态估计的准确度,我们提出了一种基于显式人脸姿态估计的特征点定位模型用于模块化辅助任务,实验结果证明这种辅助模型能够有效地对图像上的人脸特征点进行遮挡检测和细粒度定位。（3）为了解决因为缺乏足够的训练数据造成训练过程中的过拟合问题,我们基于生成对抗网络（GAN）提出了一种联合姿态和表情的非正面人脸表情识别模型,该模型通过利用不同的姿态和表情来同时进行人脸图像合成和不同姿态的人脸表情识别。在我们提出的模型中,基于编码器-解码器结构的生成器可以学习人脸图像的身份特征,而且自动生成带有不同标签的人脸图像,丰富实验的训练集,并且我们对模型中判别器进行了小批量处理,直接计算小批量样本的统计特征,简化了计算方式,提高了模型在训练过程中的稳定性。为了证明提出方法的有效性,我们在Multi-PIE,BU-3DFE和SFEW三个不同的数据集上进行大量的实验,并与目前先进的人脸表情识别算法进行比较。实验结果表明,相比较于现有的人脸表情识别方法,我们的模型不仅能够通过生成不同姿态和表情的人脸图像扩大训练集,提高识别准确度,而且模型在训练过程中更加稳定,并且在具有极端姿态和面部遮挡的情况下也取得了较好的效果。