视频人脸表情识别是计算机视觉和人机交互领域的一个重要分支内容,面部表情是人类情绪的真实表达。研究自动面部表情识别可以帮助机器理解人的情感,在人机交互中更好与人沟通。在早期的研究工作中,视频人脸表情识别一般采用传统图像算法(如光流法等)取表情特征,再将特征送入分类器进行分类训练。该方法高度依赖于图像及特征取的质量。此外,现实场景中人自发产生的表情图像易受光线、姿态等干扰,将大大降低传统图像算法的鲁棒性。随着深度学习方法在图像分类、视频识别等领域上取得重大进展,越来越多的学者开始关注基于深度学习的视频人脸表情识别的方法研究。在近几年的视频人脸表情识别研究中,常用卷积神经网络和循环神经网络对视频图像中的人脸表情特征进行取,并通过分类器进行分类,构建一个端到端的视频人脸表情识别模型。本文主要围绕基于深度学习的视频人脸表情识别方法展开研究。首先,对深度神经网络的理论知识进行了详细的阐述。其次,总结了利用深度学习方法实现视频人脸表情识别的主要算法及模型。针对视频人脸表情识别的特点,深入研究了图像预处理、卷积神经网络模型预训练等问题。然后,对于视频中的单帧,出了基于双线性模型取表情图像二阶信息进行分类的端到端方法。对于视频中连续帧,出了结合帧间信息与非局部网络全局信息的识别方法。最后,利用深度模型压缩算法压缩模型大小,在移动端开发了实时的视频人脸表情识别演示系统。本文的创新点体现在六个方面:1、出一种改进型人脸对齐算法。2、基于VGGNet出一种改进型卷积神经网络结构。3、利用迁移学习,在大规模表情数据集上对模型进行预训练。4、基于细粒度分类思想,利用双线性模型取表情图像二阶特征进行分类。5、出利用门控循环单元与非局部网络结合的方法,取表情局部和全局特征并融合时序信息,对连续帧表情图像进行分类。6、利用模型剪枝算法压缩模型,并开发完成一套实时视频人脸表情识别演示系统。