人类面部表情所携带的信息一直都是除语言信息外研究人员关注的重点之一。随着计算机视觉和机器学习等领域的快速发展,微表情相关学者提出的面部动作编码系统是一项根据人类面部外观的微小动作变化、以单个面部肌肉为对象对其不同运动类别进行编码的系统。如何自动精确地识别表情图像中各个动作单元(AUs,Action Units)标签,从而识别出图像中多种多样的人物表情是一项具有挑战性的任务。因此,本文结合特征提取和深度学习技术,提出一种新的面部动作编码系统识别算法,重点研究带动作单元属性标签的人脸表情数据集扩充、表情图像特征提取与可视化、深度卷积网络模型在面部动作编码系统识别中的应用等问题,主要研究内容具体如下:首先,鉴于面部动作编码系统的研究依赖于具有良好标注的大规模人脸表情数据集,但是现阶段人工标注专业性、困难度和复杂度相对较高,为此本文提出一种基于生成对抗网络和编码解码器模型的面部表情图像数据集扩充的方法。通过设计一种新的损失函数,利用现有的标注数据和表情图像,在融合了注意力机制的网络模型上训练后,可根据目标动作单元(AUs)标签自动生成满足该条件属性的新面部表情图像,实现多动作单元(AUs)标签控制的真实性人脸表情图像生成,达到扩充数据集目的。其次,由于动作单元识别的根本目的在于识别各个面部肌肉单元的运动类别,本文利用毛孔尺度特征点提取算法,及基于网格的特征匹配算法将连续两帧视频图像的特征点形成匹配对,并把特征点相对位移的大小和方向信息转化为向量场,使用孟塞尔颜色体系将每张人脸图像因表情动作单元(AUs)运动产生的各个特征点移动的方向和幅度信息有效直观的可视化出来。最后,为提高现有的面部动作编码系统识别算法效果,本文结合毛孔特征点位移可视化信息,应用经典深度学习网络模型,实验对比选出最佳模块设计方案,在常用的BP4D人脸数据集上,与现有多种识别算法对比,获得了综合效果最好的面部动作编码系统识别效果。其中本文所提出的算法动作单元识别平均准确率在现阶段各个面部动作编码系统识别算法中获得较优的75.88%,同时获得相对最高的平均F1评估值为63.46%。