在现实生活中经常会接触到来自不同传感器的人脸图像,比如可见光条件下拍摄的照片、人像画家绘制的素描画像、近红外人脸图像和热红外人脸图像等。这些处于不同形态下的人脸图像统称为异质人脸图像。异质人脸图像识别在生物特征识别领域具有重要的研究意义和应用价值。例如,在刑事侦查中警方有时无法获得嫌疑人的清晰照片,但可根据有限的视频监控线索(往往伴随因分辨率过低导致嫌疑人照片模糊或者嫌疑人非正面视角等现象)和目击证人/受害人的描述由法医绘制出嫌疑人的素描画像,进一步来辅助鉴别嫌疑人的身份。这里如何将绘制的素描画像与公民照片数据库进行比对就是异质人脸图像识别旨在解决的重要问题之一。由于不同传感器成像机理不同,同一身份的异质人脸图像之间往往存在巨大的差异。传统人脸识别方法在异质人脸图像识别场景中只能获得较低的识别率,难以满足实际的应用需求。因此,本论文致力于针对异质人脸图像识别场景的特殊需求,以概率图模型为理论框架,提出一系列异质人脸图像合成和识别新方法。本文的主要创新性工作概括为:1.提出一种基于概率图模型和多特征表示的异质人脸图像合成方法。现有方法在对人脸图像进行特征提取时,只考虑像素值作为图像的唯一特征,导致合成结果易受到不同光照条件、背景颜色和肤色差异的干扰。考虑到人脸图像可以经由不同的图像滤波器处理,提取多种局部特征进行描述,提出一种基于概率图模型和多特征表示的异质人脸图像合成方法。该方法通过交替优化策略,自适应的学习在人脸图像各个块位置的多特征组合权值,从而实现对光照、背景和肤色鲁棒的异质人脸图像合成。实验结果表明,该方法可以有效的降低光照、背景和肤色对合成结果的干扰,并在真实场景下的法医素描画像数据上有较好的表现。2.提出一种基于概率图模型与超像素划分的异质人脸图像合成方法。现有的合成方法在对人脸图像进行分块时,只是采取简单的策略将图像划分成大小相等的矩形块,而忽略了人脸图像本身的结构信息。为了在图像分块阶段将人脸潜在的结构信息考虑进来,提出一种基于概率图模型与超像素划分的异质人脸图像合成方法。首先根据人脸图像本身的结构信息,将图像划分成形状和大小自适应的超像素块;随后对每个超像素块进行一定尺度的扩张,使得相邻超像素块之间具有一定比例的重叠区域,以减小合成结果的块效应;继而借助概率图模型进行建模,得到初步合成图像;最后通过两阶段的人脸合成框架进一步提高合成图像的质量。实验结果表明,该方法通过在图像分块阶段将人脸潜在的结构信息考虑进来,可以更好的合成人脸图像的细节。3.提出一种基于概率图模型表示的异质人脸图像识别方法。现有识别方法在对人脸图像进行特征提取时,往往忽略了图像的空间结构信息,然而图像本身的结构信息在人脸识别中具有重要的作用。针对上述不足,提出一种基于概率图模型表示的异质人脸图像识别方法。首先,将异质人脸图像分块后,基于概率图模型对图像块进行建模,结合人脸的空间结构信息提取概率图模型表示特征;然后,针对上述概率图模型表示特征,提出一种成对表示相似性度量矩阵,对异质人脸图像进行相似性度量和匹配。实验结果表明,该方法在多种异质人脸图像识别场景下均取得了更好的识别性能。4.提出一种基于稀疏概率图模型与判别分析的异质人脸图像识别方法。现有方法在运用概率图模型进行建模时,需要在每个块位置选择固定个数的个近邻图像块,而近邻参数的取值往往需要人为设定,并对算法性能具有很大的影响。针对上述问题,提出一种基于稀疏概率图模型与判别分析的异质人脸图像识别方法。首先,在概率图模型建模阶段跳过近邻选择步骤,把所有相关的图像块考虑进来,提取自适应稀疏的概率图模型表示特征;其次,为了应对人脸图像结构的复杂性和进一步提高算法的判别分析能力,设计一种基于人脸空域划分的判别分析框架。实验中本方法和已有方法相比,在多种异质人脸识别场景下均具有更好的表现。5.提出基于多画像的异质人脸识别场景,并给出具体的实验设计与基准算法验证结果。现有异质人脸图像识别方法主要针对单张图像的识别问题,然而在实际场景中往往可以得到同一目标的多张画像。考虑到上述情形,提出基于多画像的异质人脸识别场景。首先根据已有的画像数据类型,定义三种具体的识别场景,并分别提供相应的实验设置标准和若干基准算法在各个场景中的表现。通过对实验结果的分析讨论,表明所提基于多画像的异质人脸识别问题具有一定的研究价值和挑战性,并包含众多待探索方向,值得将来开展进一步的研究。