瘫痪在世界各地都是一种常见的疾病,其中的重度瘫痪病人生活无法自理,给患者的心理、家庭和社会带来了沉重的负担。脑卒中、车祸、小儿脑性瘫痪、脊椎受伤等都会导致瘫痪。在重度瘫痪病人中存在着一种特殊的群体,即患者的四肢和躯干无法移动、存在语言障碍,但是患者的大脑意识清醒,可以做出头部和脸部动作。头部动作是指头部上下左右移动,脸部动作是指眨眼和张、闭嘴。根据山东某家医院患者患病的统计结果,该类患者在重度瘫痪群体中占的比例为10%左右。如果可以获取患者的真实意图,再通过康复机械装置就可以让患者具备一定的自理能力。本课题主要研究内容是通过视频分析患者的真实意图,并为此研发出相应的软件系统,其目的是使患者具备一定的自理能力,同时减轻患者家属的负担。在研究方法中有主动和被动两种方式来获得患者的真实意图。主动是指患者有意识地表达自己的意图。当患者处于非紧急情况时,患者意识清醒,根据患者头部和脸部可动的特点,让患者通过头部和脸部动作主动向系统发出需求指令,然后通过辅助装置满足自身的最基本需求(喝水、吃饭、服药等)。被动是指系统根据患者表情分析出患者的意图。当患者处于紧急情况时,患者可能无法自主发出指令,系统根据患者的面部表情变化判定患者的情感状态,然后根据患者的情感状态分析出患者的真实需求,并将分析出的结果反馈给患者。在一定的时间内,如果患者可以通过头部和脸部动作完成响应,则系统会进行相应的处理;如果患者没有响应,系统则会通知患者家属或医护人员。本文工作包括:(1)基于区域化的头部动作识别。系统利用Adaboost算法在患者头部图像中检测出患者的人脸,然后通过人脸中心位置的偏移方向进行头部动作识别。(2)基于等价局部二值模式(Uniform LBP)纹理特征的脸部动作识别。系统首先根据三庭五眼的规则在人脸图像中切割出患者的眼部和嘴部区域;然后计算眼睛和嘴部区域图像的Uniform LBP纹理特征图,并计算特征图的统计直方图;最后利用k近邻识别患者的脸部动作。(3)基于深度卷积神经网络的表情识别。系统首先通过样本预处理(倾斜校正和图像旋转)增加样本的数量;然后对样本图像进行归一化处理;最后通过深度学习中的卷积神经网络训练出患者的三个表情识别模型。系统在识别患者表情时,先利用表情模型对患者表情进行粗略分类,然后再对患者表情进行精确分类。本文主要贡献为:根据重度瘫痪病人的特点,提出了基于Uniform LBP纹理特征的脸部动作识别方法和基于由粗到精策略的表情识别方法。实验结果表明,系统能够准确地识别出人物目标的面部表情、头部和脸部动作。下一步会结合其他单位的研究内容,在相应的硬件系统中进行调试和完善。