随着人们生活水平的提高,汽车给人们的生活带来交通便利的同时也带来很多交通事故。根据事故原因的分析,疲劳驾驶引起的交通事故不亚于酒驾。如何获取驾驶员的疲劳特征,评估其疲劳程度,已成为国内外研究的热点。目前的驾驶疲劳检测研究中,大部分是通过提取和分析眼睛和瞳孔等特征来判别疲劳状态,但通常疲劳状态也会引起嘴部变化,例如打哈欠,因此,检测嘴部状态也是具有重要的意义。本文提出从眼睛和嘴部单特征识别疲劳与两者深度特征融合识别疲劳两方面展开研究,提出使用深度学习代替传统的机器学习方法完成疲劳特征提取工作,具有更高的准确率和鲁棒性。论文的主要研究内容如下:(1)人脸检测和面部关键点定位是研究并分析驾驶安全评估的基础。考虑到算法的实时性和准确率,本文采用Adaboost算法进行人脸检测,并采用基于回归树的毫秒级面部对齐算法,对检测到的人脸数据进行关键点定位。根据检测到的8个特征点的位置,分别对眼睛和嘴部区域进行提取与分割。(2)针对目前嘴部特征提取仍然是一个比较困难的问题,提出使用卷积神经网络识别嘴部状态,提高了算法的鲁棒性和识别率,并且提出嘴部识别疲劳状态的方法。实验结果证明状态识别和疲劳检测算法都有较高的准确率。同样采用卷积神经网络识别眼睛状态,并根据目前判断驾驶员疲劳效果最好的PERCLOS参数来识别疲劳状态。(3)针对眼睛和嘴部特征融合识别疲劳的问题,提出卷积神经网络和编码向量的疲劳识别模型,采用卷积神经网络模型对每帧图像进行特征提取和分类,并采用Softmax回归器对编码向量进行分类,从而可以检测出该视频中驾驶员的疲劳状态。实验结果表明,采用深度学习框架的疲劳检测,能够有效提高算法的鲁棒性和准确率。