人脸表情识别是计算机视觉、图像处理以及模式识别等领域的重点研究课题,前期的研究工作主要以二维图像数据为基础。由于人脸本身是三维立体的,将三维人脸投影为二维图像必然会丢失很多纹理信息和形态特征。另外,二维图像容易受姿态、妆容和光照等因素的影响,鲁棒性差,表情识别准确率受到限制。近年来随着三维数据获取技术的不断发展,表情识别逐渐由二维图像转向三维图像,提取到的面部表情特征更加丰富。相比于二维表情识别,三维表情识别的鲁棒性更强,识别的准确率也更高。本文首先对已有的三维信息采集设备进行改进,利用改进后的设备采集人脸表情图像序列,并利用光度立体法尝试三维人脸表情模型重建。然后,本文提出了一种完全自动的三维人脸表情识别方法。本文的主要研究工作以及相关创新点如下:第一,对现有的基于光度立体技术的三维信息采集平台进行改进,实现人脸表情图像序列的采集。原有的图像采集系统主要用于舌体数据的采集,无法满足人脸数据采集条件。本文针对人脸特征,改进了原有系统的相机模块、光源支架模块和拍摄物托架模块等。基于改进后的系统,能够实现不同光照角度下人脸表情图像序列的采集。第二,对采集到的人脸表情图像序列,利用光度立体法进行三维人脸表情重建工作。根据改进后的三维信息采集设备,拍摄了满足后续重建条件的人脸表情图像序列,利用光度立体法实现三维人脸表情重建工作。第三,提出了基于多特征融合的三维人脸表情识别方法,利用自动提取算法提取人脸20个关键特征点,并根据特征点选取了23个反映人脸表情特点的距离特征,同时利用自动提取的特征点进行点区域周围LBP特征提取,用于描述三维人脸表情特征。最后,采用SVM分类器进行三维人脸表情分类识别。实验结果证明了本方法利用围绕关键点的局部LBP特征与23个点对距离组成的融合特征能够更好的描述人脸表情特征。第四,提出了基于稀疏表示的三维人脸表情识别方法,该算法对LBP特征进行改进,采用了性能更优的CBP特征,并利用全局数据进行特征提取,利用稀疏表示实现三维人脸表情识别。实验比较了LBP算子与CBP算子的优劣,以及稀疏表示与SVM的分类效果。最后,为了进一步地优化识别效果,对三维人脸进行均匀划分,并利用CBP特征与稀疏表示进行三维人脸表情识别,实验取得了良好的分类结果,且证明了区域划分对于人脸表情识别有着重要的影响。最后,对整篇文章进行了总结与展望。