人脸识别是图像处理、模式识别、机器学习等领域的经典问题。尽管目前已取得丰硕的研究成果,但当前的人脸识别技术都具有如下限定:(1)可控的图像采样环境;(2)被识别对象的主动配合。这些限定成为人脸识别技术发展和推广的最大障碍。然而,随着智能视频分析、人脸匹配、人脸图像搜索等应用需求的增长,人们对非限定条件下的人脸识别技术的需求日益增长。但是,非可控条件下的姿态、光照、表情和遮挡等复杂干扰因素可能导致人脸图像的类内变化远大于类间变化,这使人脸识别精度急剧下降而不能满足实际应用需求。本文以减少非可控条件下复杂干扰的影响为目标,围绕人脸识别系统中的人脸图像预处理、特征提取、相似性度量和判别分类等关键步骤展开研究,根据人脸识别任务的特点,针对每个关键步骤,提出减少复杂干扰影响的解决方法。本文的主要贡献如下:(1)提出了基于人脸图像预评估的自适应人脸验证方法。该方法首先按照预定义区域将人脸对分割成多个图像对。然后通过评估人脸对在关键点的图像梯度差异,自适应地选择人脸区域上的图像对。最后联合选出的图像对验证人脸对是否匹配。为了选择图像对,提出了三种图像对的可靠性评估方法:基于异常差异检测的方法、基于支持向量回归机的方法、基于堆栈自编码深度网络的方法。它们分别适用于对验证速度和验证精度要求不同的情形。实验表明,该人脸验证方法可以根据输入人脸对的遮挡、表情等视觉干扰条件差异,自适应地选择受干扰影响较小的人脸区域验证该人脸对。与仅使用全脸的方法和直接联合多人脸部件的方法相比,它可以有效减少局部干扰的影响。(2)提出了基于特征池化学习的高层人脸特征提取方法。首先提出一种新颖的特征池化学习算法。针对当前特征池化方法无法描述人脸结构信息且无法有效抑制局部噪音特征码,引入池化权重向量和线性变换矩阵两个模型参数,基于Sum-Pooling定义新颖的池化操作。并设计一个交替迭代优化算法学习该池化操作的模型参数,通过学习池化操作实现学习人脸高层特征。然后,将提出的特征池化学习算法应用于采用稀疏编码方法提取的局部特征,在不同大小的人脸图像块上学习人脸高层特征。最后联合所有图像块的高层特征形成人脸高层特征表达。实验表明,该方法可以提取不同层次的人脸结构高层特征,同时也可以有效地抑制局部噪音特征码。而且,提取的特征向量是低维的。(3)提出了基于视觉条件差异自适应调整的距离度量学习算法。首先利用人脸对齐检测的关键点位置关系和关键点上的局部特征,计算一对人脸关于姿态、表情、遮挡、光照的视觉条件差异。将这种与身份信息无关的视觉条件差异引入到特征空间的距离度量中,联合马氏距离定义新颖的距离度量。然后设计度量学习算法学习定义的新距离,并采用增广拉格朗日方法求解相应优化问题。优化过程同时学习特征空间中的马氏距离、视觉差异条件对马氏距离的影响及相应的调整规则。实验表明,在测试阶段,对于一对人脸图像,学习的距离度量能够根据它们的视觉条件差异,自适应地调整它们的特征向量计算的距离,从而有效地减小复杂干扰导致的类内变化。(4)提出了基于优化训练和组织多分类器的人脸验证方法。首先提出一种视觉一致性度量方法。然后分割成对的训练人脸图像,并利用视觉一致性度量方法优化组织分割的子图对,形成在不同人脸区域上、不同视觉一致性条件下的训练子集。接着融合多特征在每个子集上训练支持向量机分类器。每个分类器保存着特定人脸区域、特定视觉一致性条件下的分类规则。在测试阶段,根据一对人脸在全脸和人脸部件上的视觉一致性度量结果,自适应地选择分类器并优化组织它们执行判别。实验表明,该方法能够根据一对人脸在全脸和部件上的视觉干扰条件差异,自适应地调整分类判别规则验证该对人脸是否匹配,从而有效地减少复杂干扰的影响。