近年来,卷积神经网络(CNN)和人脸表情识别(FER)快速发展,自动人脸表情识别系统已得到了广泛的应用。本文对基于卷积神经网络的人脸表情识别方法进行了研究,与此同时,本文设计了两种人脸表情识别方法,提高表情识别的准确率。实验分为两个部分:首先,进行人脸表情表情识别(FER)和面部动作单元(AUs)识别多任务实验,验证面部AUs对表情识别的辅助作用。然后,针对易混淆表情及弱强度表情,在人脸表情识别中加入注意力机制,设计基于金字塔结构的卷积神经网络提高准确率。研究涵盖了可控人脸表情数据集和非可控人脸表情数据集两种;在多任务实验中,AUs数据作为网络的第二类输入与表情数据分别输入至网络中,网络同时进行两种任务学习,再分别进行分类;在注意力机制的实验中,训练前利用关键点生成高斯分布图作为空间注意力手动掩码;网络中加入CBAM注意力卷积模块得到空间注意力自动掩码,手动掩码和自动掩码共同赋予特征图不同区域以相应权重;分别利用关键点所在位置特征、面部关键区域特征、完整人脸图像特征进行表情分类,形成金字塔结构的模型进行人脸表情识别。本文在AUs辅助实验中,网络进行多任务学习,借助与表情有关任务辅助表情分类,训练数据量得到了扩充,AUs任务的加入使表情识别准确率提高了 1.1%;针对相似表情、强度微弱表情,采用具有金字塔结构的卷积神经网络,利用手动和自动结合的空间注意力模型加强有效区域的关注,利用点状、块状、面状三个层次的特征进行分类,解决了表情类别相近、表情强度低识别率低的问题,使微弱表情、易混淆表情识别的准确率更加高,实验提高准确率2.14%。