论文部分内容阅读
人脸特征点定位是指自动标定出脸部特征点的位置,是研究和分析人脸图像的基础。然而在局部遮挡的人脸上定位特征点依然是一个难点问题。近年来,基于级联姿态回归模型的人脸特征点定位算法受到广泛关注,该模型在遮挡人脸上取得较好的定位精度并且在定位的同时还可以预测特征点的遮挡状态。该模型由给定的初始形状开始级联回归,通过不断更新当前特征点的位置分布和遮挡状态,逐步逼近特征点真实位置,因此该模型必然依赖初始化,对初始形状敏感,不合理的初始化会严重降低定位和遮挡检测的准确性,甚至导致定位失败。除此之外,现有模型仅通过一级级联回归更新特征点位置与遮挡状态,没有合理的方法评估预测结果是否可靠,也会影响特征点定位与遮挡检测的可靠性。本文对这些问题展开了深入的研究,主要工作如下:1)针对级联姿态回归模型对初始化很敏感的问题,本文提出了基于纹理相关初始化的级联姿态回归算法。通过提取训练集中所有人脸与测试人脸的纹理直方图矩阵,利用皮尔逊相关性分析方法分析当前测试人脸与训练集中各个人脸的相关性,从而寻找到与当前测试人脸最相关的形状作为初始化。该算法提高了初始形状的鲁棒性,在COFW数据集上特征点定位的精确度更高,并且特征点的遮挡检测精确度从80/42%(Precision/recall)提高到80/51.4%。2)针对基于纹理相关的初始化仅考虑了人脸的纹理特征未考虑姿态信息的问题,因此本文提出了基于鲁棒初始化的级联姿态回归算法。该算法通过初步定位脸部五个特征点分析当前人脸姿态,利用求得的人脸姿态结合平均脸求得姿态相关初始形状,并将姿态相关初始形状结合纹理相关初始形状得到鲁棒的初始化,该初始化在遮挡和姿态上都更接近人脸的真实状态。在输出结果时不再选取所有预测结果的中间值,而是通过方差评估的方式判定各个预测结果的有效性,取有效预测的中间值。该算法在COFW数据集上的准确度超越了当前许多主流的特征点定位和遮挡检测算法。实验表明该鲁棒初始化方法也适用于其他级联回归模型,具有一定的泛化能力。3)针对一级级联回归没有评估预测结果可靠性的问题,本文提出了基于稀疏重构修正的两级级联姿态回归算法。主要包含三个步骤:首先利用基于鲁棒初始化的级联姿态回归算法得到初级定位结果,然后在初级定位的基础上,利用稀疏重构算法计算各个特征点的重构残差,根据重构残差判断初级定位结果的可靠性从而修正不可靠的定位结果,再根据稀疏系数中非零项对应的字典元素的遮挡信息重新计算当前特征点的遮挡概率。最后利用修正后的结果作为二级级联姿态回归的初始化,再次回归得到最终定位与遮挡检测结果。此算法不再单纯的使用级联回归更新特征点位置与遮挡状态,而在中间考虑了特征点本身的信息,利用稀疏重构算法去修正位置及遮挡概率。实验表明该算法的性能进一步优于基于鲁棒初始化的级联姿态回归算法。本文主要针对级联姿态回归模型在遮挡人脸定位上初始化不够鲁棒,以及一级级联回归中未评估回归结果和遮挡检测准确度不高的问题,提出了改进方案。实验结果表明,本文提出的算法在遮挡人脸特征点定位上取得了较好的性能,在定位与遮挡检测准确度上超越了当前许多主流的人脸特征点定位算法。