驾驶员疲劳驾驶是导致交通事故发生的重要原因,对驾驶员驾驶状态的检测和预警,可有效避免交通事故的发生。驾驶员疲劳检测成为当前交通领域的研究热点,但目前的检测方法的准确率仍然较低。本文研究基于深度学习的驾驶员疲劳检测算法,融合人脸及特征点通过卷积神经网络识别驾驶员状态。论文主要工作如下:(1)提出基于多任务级联卷积神经网络MTCNN(Multi-Task Convolutional Neural Networks,MTCNN)的人脸及特征点检测算法,实现真实驾驶环境下驾驶员脸部区域的精确检测和相关特征点的定位。算法增加了训练特征点,提升了网络特征提取的准确性和头部姿态判断的可行性;替换网络的激励函数,添加BN层,以提高网络的运算速度;同时,在O-Net网络结构中添加多尺度池化层,进一步提高网络模型对不同尺度特征的描述能力。(2)提出基于深度可分离卷积神经网络的眼睛和嘴巴状态识别模型。提取眼睛和嘴巴特征,输入到深度可分离卷积神经网络模型判断特征状态,大大提高了检测效率。同时,根据人脸特征点对头部姿态进行判断,以用于后续多特征融合的疲劳判定。(3)提出多特征融合的驾驶员疲劳判定算法。根据识别出的眼睛、嘴巴状态以及头部姿态,设定PERCLOS值、嘴巴张合率MCR和头部非正脸率HDR三种特征指标,融合多特征进行驾驶员疲劳状态的综合判定。(4)分别对人脸及特征点检测算法、眼睛嘴巴状态识别算法和多特征融合疲劳判定算法进行了实验和测试。针对人脸和特征点检测算法,将改进前后的MTCNN算法在FDDB数据集上进行了对比,结果显示本文算法在检测速度和精度上都优于原算法。针对眼睛、嘴巴状态识别算法,将本文深度可分离卷积网络模型与常规卷积的模型以及传统检测算法进行对比,实验表明本文模型耗时和准确率明显优于对比算法。针对驾驶员疲劳判定算法,本文在YawDD数据集和课题组志愿者自制模拟驾驶过程视频上与其他几种检测算法进行对比,实验表明本文算法在查准率和查全率上均有提升,分别达到96.22%和98.08%。