跨模态人脸识别的主要目标是,从给定的不同模态的人脸图像中确定人的身份,其中,不同模态的人脸图像可以是可见光和近红外光这两种不同成像条件下获取的人脸图像。由于在安防监控以及协助公安部门执法方面有广泛的应用前景,跨模态人脸识别受到了越来越广泛的关注。跨模态人脸识别有两个核心挑战:一是不同模态的两种数据之间的分布差异太大,即模态差异大;二是可用于训练的特定模态的数据少,导致模型容易过拟合。为了减少模态差异,以往的许多方法先利用尺度不变特征变换或者局部二值模式等手工设计的特征描述子来提取手工特征,然后将提取得到的不同模态的人脸特征投影到潜在的共有子空间,从而达到减少模态差异的目的。然而,这些方法受限于手工设计特征描述子的特征表达能力,所取得的识别效果往往难以令人满意,从而使得这类方法的进一步发展陷入了瓶颈。为了描述不同模态数据之间高度非线性的关系,一些工作使用深度卷积神经网络来提取更具有判别性的特征,并取得了比基于手工设计特征更好的性能。但是,深度卷积神经网络往往有大量的参数,这使得其在小规模的跨模态数据集上极易过拟合。此外,传统的卷积神经网络本身并不是为了有效提取模态信息无关的特征而设计的,这限制了其在跨模态人脸识别任务上的表现。本文以深度卷积神经网络为基础,提出了能有效应对跨模态人脸识别中数据规模小,模态差异大这两个挑战的两种方法。本文提出的两种方法可以在测试阶段从单张人脸图像中提取出模态无关的人脸特征,因而可以用于离线的特征提取,这在实际应用中具有较大价值。具体而言,本文提出的两种方法如下:·本文提出了共有成分卷积神经网络(Mutual Component Convolutional Neural Networks),简称MC-CNN。MC-CNN是一种对模态信息鲁棒的深度学习框架,它可以同时应对跨模态人脸识别中两个核心挑战。MC-CNN通过将一个特定的生成模型,即共有成分分析(Mutual Component Analysis,MCA),看成深度卷积神经网络的一个特殊的全连接层,从而将共有成分分析嵌入到了深度卷积神经网络。基于深度卷积特征,这一特殊的全连接层可以提取出模态无关的隐因子特征,并通过最大似然估计得出的分析表达式而非反向传播来更新其参数,这一更新方式可以自然地防止深度卷积神经网络在小规模跨模态数据上过拟合。此外,本文还提出了基于共有成分分析的损失函数(Mutual Component Analysis Loss,MCA loss)来监督网络的训练,从而进一步加强网络对模态无关特征的学习。大量的实验表明,本文提出的MC-CNN性能显著优于几种基于微调的基准方法,并在CASIA NIR-VIS 2.0,CUHK NIR-VIS 和 IIIT-D Sketch 等几个跨模态人脸识别数据集上取得了当时最优的结果。·本文提出了一种新的双分支网络结构,称为残差补偿网络(Residual Com-pensation Networks,RCN),用于分别学习跨模态人脸数据中不同模态的特征。残差补偿网络在传统的卷积神经网络中加入了残差补偿(ResidualCompensation,RC)模块和模态差异损失函数(Modality Discrepancy loss,MD loss)。残差补偿模块通过对其中一种模态进行补偿来减少模态差异,从而使其特征表达更接近另一种模态。由于残差补偿网络只学习这一参数量较少的残差补偿模块而固定了其经过预训练的主干卷积神经网络的卷积参数,其可学习的参数量被极大地减少,因而可以有效减轻网络在小规模的跨模态数据上的过拟合问题。另一方面,模态差异损失函数则通过最小化不同模态特征之间的余弦距离来进一步减少模态差异。此外,我们还探索了残差补偿模块的不同结构和位置,并评估了跨模态人脸识别中的不同迁移学习的策略。本文提出的残差补偿网络的方法在CASIA NIR-VIS 2.0,CUHK NIR-VIS,IIIT-D Viewed Sketch 以及 Forensic Sketch 这几个数据集上的识别准确率显著优于其他方法,并取得了当时最优的结果。