在人类日常沟通交流中,通过表情传达的信息占据全部信息的一半以上,人脸表情可以反映出人的情绪和状态。人脸情绪识别是计算机视觉领域重要研究方向之一,包括虚拟现实、增强现实、交互机器人以及交通安全领域需要人脸情绪识别技术来改善应用的性能,提升应用体验。随着人脸表情识别研究的不断发展,从研究少量的实验室制作的人脸表情研究,到研究基于海量数据的现实场景下的人脸表情研究,研究人脸表情识别的方法也由传统的图像处理的方法转变为深度学习方法,其中CNN(卷积神经网络)极大地推动了人脸表情识别的发展。尽管近些年提出了很多人脸表情识别的方法,但是已有研究主要基于少量的实验室制作的人脸表情数据集,这并不能满足对现实场景下人脸表情识别的需求。在解决复杂的现实场景下的人脸表情识别问题时,与传统的基于浅层特征或手工特征的人脸表情识别技术相比,深度学习可以学习到更高层次的特征信息,具有更强的准确性和鲁棒性。因此,基于深度学习对海量现实场景下人脸表情数据进行研究是必要的。此外,大多数人脸表情识别研究都是分为多阶段的,因此提出一个端到端的人脸表情识别算法是极具有创新性的。本文通过对人脸表情数据集AffectNet进行研究,基于YOLOv3目标检测模型结合人脸表情识别任务的特点提出深度人脸表情识别模型,并且基于深度人脸表情识别模型,提出、设计、开发驾驶员情绪实时监测系统。本文所做主要工作体现在以下几个方面:(1)本文基于现实场景下最大的人脸表情数据库AffectNet进行研究,采用了图像处理技术(图像随即裁剪、图像随机旋转、图像颜色抖动和图像高斯噪声等)对数据集进行处理,得到符合条件的训练数据。(2)本文基于深度目标检测模型YOLOv3的研究和改进,提出一个端到端的深度人脸情绪识别算法。同时结合人脸表情识别任务的特点,对学习的目标进行调整,使得在AffectNet数据集取得较好的识别准确率,此外识别速度可以达到33fps。(3)针对驾驶员情绪会影响其驾驶行为的问题,本文设计、开发基于深度学习的驾驶员情绪实时监测系统,基于本文提出的人脸情绪识别模型,根据特定场景定制化模型,并通过Tensorflow lite框架将模型转换、压缩集成到移动端应用。同时采用Websocket、WebRTC等技术与管理后台保持实时通信,保证了系统的实时性和有效性。使得本文提出的深度人脸情绪识别算法得到应用验证。