基于EEG与计算机视觉的人脸检索闭环系统

来源 :浙江大学 | 被引量 : 0次 | 上传用户:cocoxb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉技术已在大规模人脸数据库的检索上取得巨大成功,但是当人脸的表情、姿态、光照出现较大变化时,计算机视觉的性能会出现明显下降。人脑具有强大的人脸识别能力,在表情、姿态、光照等变化上表现出很强的鲁棒性。研究表明,人脑的EEG (Electroencephalography)信号中存在许多与人脸识别相关的ERP (Event Related Potential)成分,通过单次ERP检测识别人脸相关的ERP成分可以实现快速人脸识别。本文通过基于单次ERP检测的脑机接口技术将入脑强大的人脸识别能力与计算机视觉快速的计算能力结合,提出脑机融合的闭环系统,用于快速人脸检索。该闭环系统包含人脸图库,EEG模块和计算机视觉三大模块。在闭环系统的每轮迭代中,人脸图像通过快速序列视觉范式(Rapid Serial Visual Presentation, RSVP)呈现给被试,EEG模块通过单次ERP检测选出被试最感兴趣的候选人脸。计算机视觉模块根据视觉相似度从图库中选出与候选集合最相似的人脸图像在下一轮呈现给被试。经过多轮迭代,以图库中人脸图像的相似度排序作为最终的检索结果,以平均精度(average precision, AP)作为性能评估准则。与以往的闭环图像检索系统相比,该系统首次应用于难度较大的人脸检索,并设计了基于有监督(Support Vector Machine, SVM)和无监督(K-means和Self-organizing Map,SOM)的方法用于优化闭环策略,剔除EEG候选图像中的非目标人脸,显著提高系统的整体性能。离线分析表明,本论文提出的基于有监督的目标优化策略能将EEG候选人脸图像中目标人脸的比例从69.76%提高到96.95%,检索AP从0.8067提高到0.9044。基于无监督学习的目标优化策略则将目标人脸的比例提高到95.03%,检索AP提高到0.9162。在线人脸检索实验进一步验证了该闭环系统的优越性能。综上所述,将基于EEG的脑机接口技术和计算机视觉技术结合可克服计算机视觉在光照、姿态和表情上的缺陷,实现较为快速、准确的人脸检索。
其他文献
本文通过对北京冬奥会申办成功原因的分析,可以坚信这届冬奥会一定能够办好,同时必将在诸多方面带给我们良好的影响.
电力企业之间竞争愈发激烈,电力营销在企业生存和发展中的重要地位日益突出,但传统营销模式存在一些缺陷和不足,无法满足企业现代化发展需求,尤其是对于电费管理与控制过于薄
随着社会经济的变化,我国进入了现代化的新时代,技术创新的步伐不断加快,事业单位之间的竞争日趋激烈,人才对事业单位非常重要,单位对人才的要求越来越严格.为了充分提高事业
现代年轻人主要通过微博、公众号等新媒体获取各种信息.医院开展思想政治建设工作的对象主要为80、90后青年人,他们思维比较活泼,思想也较为开放.现在微信,QQ,微博等社交软件
档案管理工作无论是对社会发展还是国家发展都具有重要作用.所以,在如今信息时代下,需要对档案管理工作进行创新,保证档案管理模式等符合社会市场发展以及人们对档案信息内容
当前,在我国社会不断发展和进步的过程中,国家的经济和科技水平得到了良好的提升,也正是在这样的背景下,大数据时代到来,因此在档案管理的过程之中,还需要融入最先进的思想理