人脸表情识别属于一个交叉性学科,涉及了计算机科学、图像处理、模式识别、计算机视觉、人机交互、心理学、生理学等学科。表情识别研究不仅能完善情感计算的理论体系,而且还能推动和谐人机交互的发展。目前,表情识别算法主要集中在可见光环境下,容易受光照变化的影响,而红外人脸图像反映的是面部温度分布情况,对光照具有较强的鲁棒性,在一定程度上能够弥补可见光图像的不足。但由于红外图像的表面纹理不清晰,红外人脸表情识别研究受到了制约。考虑到可见光人脸图像与红外人脸图像的特点,本文对可见光人脸特征和红外人脸特征的融合方法进行探讨与研究,旨在增强表情识别对光照的鲁棒性,提升表情识别的性能。本文的主要工作以及创新点如下:1.本文介绍了 LBP特征、LDP特征以及LPQ特征的原理和特征提取方法,并对支持向量机的分类算法进行了详细地阐述。在USTC-NVIE表情库中选取同时包含可见光和红外图像的表情图像作为样本图像,将表情分为积极表情、消极表情和中性表情三类,分别对可见光图像和红外图像提取LBP特征、LDP特征、LPQ特征,使用支持向量机的分类方法进行三类表情识别实验。实验结果表明,可见光表情识别的准确率远远高于红外表情识别的准确率,而基于LBP特征方法的识别率高于其他两种特征方法的识别率。2.提出基于对比度金字塔分解的可见光与红外图像融合的笑脸识别。首先对可见光人脸图像和红外人脸图像分别标定7个特征点,并将可见光特征点与红外特征点按顺序一一匹配,进行可见光图像和红外图像配准;然后使用基于对比度金字塔分解的方法融合可见光和红外人脸图像:最后提取融合图像的特征,进行笑脸识别。为了验证本章算法的有效性,本章提出的方法与传统单特征方法以及文献[53-55]的方法进行对比实验,实验表明使用融合LDP特征的笑脸识别率为96.69%,提高了 0.4%-6.69%;使用融合LBP特征的笑脸识别率为97.19%,提高了 0.9%-7.19%。实验表明该融合方法能够提高笑脸识别率和总识别率。3.提出融合可见光LBP特征与红外LBP特征的三类表情识别。首先将可见光人脸图像分为6×5个区域,分别提取各个区域的可见光LBP特征形成VLBP特征:将红外人脸图像分为额头、左脸颊、鼻子、右脸颊、嘴巴和下巴6个区域,分别提取6个区域的红外LBP特征形成ILBP特征;然后将VLBP特征和ILBP特征使用首尾相连的形式进行融合得到VLBP_ILBP特征。最后使用融合特征进行三类表情识别实验,结果显示,VLBP_ILBP融合特征方法与VLBP_ILPQ融合特征、VLPQ_ILBP融合特征、VLPQ_ILPQ融合特征以及其他传统单特征方法相比,在积极表情、消极表情的识别率以及总识别率上均有所提高,表明了本章融合特征的方法能在一定程度上提高表情识别的识别率和鲁棒性。4.提出基于多特征与多分类器融合的三类表情识别。首先使用可见光LBP特征和可见光LDP特征分别训练两组单特征分类器,然后使用VLBP_ILBP融合特征训练一组融合特征分类器。当两组单特征分类器分类结果相同时,则直接输出分类结果;若两者不同,则调用融合特征分类器进行重新分类,将此分类结果作为最终结果进行输出。本章算法利用融合特征分类器的强分类能力来解决单特征分类器不能正确分类的问题。本章算法与传统单特征方法以及上章的特征融合方法进行了对比,实验结果显示本章算法在一定程度上能够提高三类表情识别的识别率,表明了多分类器融合方法的分类能力优于单分类器的分类能力。