论文部分内容阅读
情感理解作为人机交互的基础,在服务机器人领域吸引了越来越广泛的关注。面部表情识别作为情感理解最直接的方式之一,目前仍然存在两个尚未解决的难题:其一,在大量样本训练下的模型泛化性能低,且单一模型对七种基本表情识别能力不一;其二,模型优化所需样本量大,有标签数据较难获取以及图像标注耗时耗力等。针对以上两个问题,本文提出了基于课程学习和度量的面部表情识别方法,对上述两个难点问题进行了深入研究。针对表情识别模型泛化性能低的问题,提出了一种基于课程学习的面部表情识别方法,该方法分为课程设计和课程学习两个阶段。在课程设计阶段,利用Density-Distance非监督聚类方法将七种表情以6:2:2的比例分成复杂程度不同的三个子集;在课程学习阶段,提出Adding和Replace两种方式逐步增加训练集的复杂程度,并通过Replace的方式证明划分子集的准确性与合理性;针对单一模型混淆矩阵欧式距离分析,难以准确识别愤怒、恐惧和悲伤表情的问题,提出自选择机制(Self Selection Mechanism,SSM),对这三种表情进行二次判断。通过实验证明,本文提出的面部表情识别方法分别在开源数据集FER-2013和CK+上取得72.11%和98.18%的最优结果。此外,研究了表情识别服务的云端部署和调用问题,对云服务的准确度和服务时间进行了测试,测试结果表明该云服务能够满足服务机器人实时性要求。针对面部表情模型训练所需样本量过大、有标签数据较难获取以及图像标注耗时耗力的问题,提出了一种Prototype-Relation网络架构,将图像分类问题转化为最近邻问题,对少样本学习的损失函数进行改进,以正则化项的形式类内聚合损失。整个模型优化采用Episode-based的方式,构造7-way K-shot的训练场景。在FER-2013数据集上的实验证明:在数据量分别为100%、80%和60%的情况下,引入类内聚合损失后,模型精度均得到不同程度提升,当正则化项λ=0.3时取得最优识别效果;通过进一步探索Ktest与Ktrain的相对大小关系,证明在Ktest>Ktrain时,仅利用65%的数据量即可达到原先利用100%数据量的识别精度,数据量减少35%,达到少样本学习的目的。