论文部分内容阅读
计算机视觉技术已在大规模人脸数据库的检索上取得巨大成功,但是当人脸的表情、姿态、光照出现较大变化时,计算机视觉的性能会出现明显下降。人脑具有强大的人脸识别能力,在表情、姿态、光照等变化上表现出很强的鲁棒性。研究表明,人脑的EEG (Electroencephalography)信号中存在许多与人脸识别相关的ERP (Event Related Potential)成分,通过单次ERP检测识别人脸相关的ERP成分可以实现快速人脸识别。本文通过基于单次ERP检测的脑机接口技术将入脑强大的人脸识别能力与计算机视觉快速的计算能力结合,提出脑机融合的闭环系统,用于快速人脸检索。该闭环系统包含人脸图库,EEG模块和计算机视觉三大模块。在闭环系统的每轮迭代中,人脸图像通过快速序列视觉范式(Rapid Serial Visual Presentation, RSVP)呈现给被试,EEG模块通过单次ERP检测选出被试最感兴趣的候选人脸。计算机视觉模块根据视觉相似度从图库中选出与候选集合最相似的人脸图像在下一轮呈现给被试。经过多轮迭代,以图库中人脸图像的相似度排序作为最终的检索结果,以平均精度(average precision, AP)作为性能评估准则。与以往的闭环图像检索系统相比,该系统首次应用于难度较大的人脸检索,并设计了基于有监督(Support Vector Machine, SVM)和无监督(K-means和Self-organizing Map,SOM)的方法用于优化闭环策略,剔除EEG候选图像中的非目标人脸,显著提高系统的整体性能。离线分析表明,本论文提出的基于有监督的目标优化策略能将EEG候选人脸图像中目标人脸的比例从69.76%提高到96.95%,检索AP从0.8067提高到0.9044。基于无监督学习的目标优化策略则将目标人脸的比例提高到95.03%,检索AP提高到0.9162。在线人脸检索实验进一步验证了该闭环系统的优越性能。综上所述,将基于EEG的脑机接口技术和计算机视觉技术结合可克服计算机视觉在光照、姿态和表情上的缺陷,实现较为快速、准确的人脸检索。