人脸表情蕴含着丰富的个人情感信息,对表情的自动识别在人机交互、智能安防、心理分析等领域具有广阔的应用前景。目前,国内外研究者多以正面无遮挡的人脸图像作为识别算法的研究对象。但是在实际生活中拍摄的人脸图像,往往存在着眼镜、帽子及光线等引起的遮挡,且对遮挡人脸图像进行表情识别时主要利用图像未遮挡区域的剩余特征进行表情识别,极大地降低了表情识别算法的识别率和鲁棒性。因此,如何设计出一种能够解决对局部遮挡人脸图像进行表情识别的算法,是一个十分有研究意义的课题。本文针对以上问题,提出了基于GAN的遮挡人脸图像修复及表情识别算法,将存在局部遮挡的人脸表情识别问题分解为两个阶段,即先对遮挡人脸图像进行修复,然后在再对其进行表情识别,以准确识别被遮挡的人脸面部表情。本文的研究工作概括如下:1.本文借鉴生成对抗网络的思想,设计一种人脸修复算法,算法的网络结构是基于双鉴别器生成对抗网络,生成器是基于VGG19网络的编码—解码对称结构,鉴别器由局部鉴别器和全局鉴别器组成,全局鉴别器负责衡量图像整体结构的流畅性和真实性,而局部鉴别器主要负责衡量遮挡区域图像修复的真实性。其次对抗损失函数不再使用原始的对抗函数,而是引入基于Wasserstein距离改进的对抗损失函数,采用改进之后的损失函数是为了解决生成对抗网络训练过于自由、难以控制训练等弊端。本文提出的这些改进方式,最终的目的在于使本文修复算法的修复效果更好,更加逼真和流畅。最后通过实验在主观视觉和客观评价体系两个方面对本文的修复算法做出了评价。实验结果表明本文修复算法的修复效果显著,且修复后的人脸图像十分真实逼真,接近真实图像,对于遮挡面积较小的图像,可以做到几乎完全复原,从而为之后的表情识别部分打下坚实的基础。2.结合基于GAN的遮挡人脸图像修复算法与基于卷积块的表情识别算法设计出一种局部遮挡人脸表情识别算法。该算法的基本原理是先对遮挡人脸图像进行修复,再对其进行识别。修复部分使用基于GAN的图像修复算法中已训练好的生成网络代替,识别部分使用基于卷积块的表情识别算法,通过Softmax层对五个卷积块提取到的表情特征进行分类,实现表情识别。在算法模型的训练阶段,采用标准数据集对其进行预训练,然后使用复原人脸数据集fine-tuning。实验阶段首先对本文识别算法的表情7分类进行实验测试,然后对修复前后的人脸表情进行了识别率的对比,同时对不同遮挡面积下不同算法的识别率进行了比较,最后进行了可视化的表情识别实验,进一步验证了遮挡人脸表情识别问题划分为人脸修复和表情识别的可行性和有效性。