随着人工智能的发展,面部表情识别技术在人机交互,在线教育,娱乐,医疗监控等方面具有广阔的应用前景。经过几十年的研究,目前在约束条件下的面部表情识别已经达到了良好的效果。但是在现实世界中由于遮挡,姿势,光照不均匀等多种因素造成面部表情呈现出多种属性,同时由于数据多样化,数据不平衡因素也带来了很大的挑战。本文针对非约束环境下表情识别中遮挡和数据集不平衡两个问题展开了研究,分别提出了表情识别框架。具体的研究内容和创新性工作如下:(1)针对非约束环境下,面部表情图像往往伴随着各类遮挡及其他噪声信息,不符合线性子空间假设,此外,由于训练图像数量不足,某类的测试图像可能不在训练图像所张成的子空间上。为了解决上述问题,建立了基于双字典协同遮挡误差模型的人脸表情识别框架。首先,针对低秩分解算法中核范数奇异值在不同维数间波动较大不能有效地估计矩阵的最小秩,引入对数行列式函数求解人脸特征矩阵的秩极小化问题进行改进,提高了估计精度以及噪声的敏感度。将非凸对数低秩算法运用到表情图像进行分解得到低秩部分和稀疏部分,去除了个体差异给人脸表情识别带来的影响。然后,运用K-SVD算法分别对低秩部分和稀疏部分进行字典学习,得到类特定字典以及差异结构字典,挖掘到数据的隐空间结构。最后,提出了一个可分离的子空间模型即遮挡误差,它不属于其他任何类的子空间且不包含任何类特定的基向量,双字典协同误差矩阵表示分类方法使得空间表达自适应性和表达能力更强,同时更加细致的刻画每类表情样本之间的联系。(2)针对非约束环境下表情数据集训练数据不平衡的问题,以及同种面部表情图像之间的差异很大,提出了特征学习与语义属性结合的表情识别框架。首先,使用深度神经网络来学习面部表情图像的视觉特征。然后,基于AU单元层次分析模型建立表情图像的语义属性。最后,利用视觉特征与语义空间之间的映射关系进行分类识别。基于语义属性的面部表情识别方法更多地关注面部表情的高级特征,使用更多的区别性和概念性特征来描述样本,减少了类间样本的差异。另外,构建嵌入视觉特征的信息共享语义属性向量,可以扩大类间差异,减少类内个体差异。