论文部分内容阅读
随着人工智能技术的发展,快速准确地识别情绪能够帮助机器人感知到用户的状态,情绪识别成为一项越来越重要的研究课题。仅从单一模态识别情绪都有其缺点,从多个模态出发可以提取不同模态的有效信息,提高情绪识别的正确率。本文综合脑电(Electrocephalogram,EEG)和人脸表情两个模态,设计并实现了基于Android平台的双模态情绪识别系统,实现高兴/悲伤的二分类情绪识别,可以在Android系统上实现预处理、特征提取与融合、SVM分类的功能,同时使用图形化界面展示采集到的脑电波形和人脸区域的图像,并且展示系统记录的样本数据。本文的主要工作如下:(1)针对脑电模态,使用小波阈值去噪(Wavelet Threshold Denoising,WTD)进行预处理,再使用分型维数(Fractal Dimension,FD)和多尺度熵(Multiscale Entropy,MSE)算法提取脑电信号特征。为了验证脑电信号预处理和提取特征方法的合理性,本文对脑电情绪数据库——DEAP数据库中的脑电信号进行情绪分类,在仅使用一个脑电通道FP1的条件下,支持向量机(Support Vector Machine,SVM)分类正确率可以达到74.9%。(2)针对人脸表情模态,使用直方图均衡化(Histogram Equalization,HE)进行预处理,再使用均匀模式局部二值模式(Local Binary Pattern,LBP)算法提取人脸表情特征。为了验证人脸表情预处理和提取特征方法的合理性,本文也对日本女性脸部表情数据库(The Japanese Female Facial Expression,JAFFE)进行情绪分类,也证明使用均匀模式LBP特征可以较为准确地识别情绪。(3)本文设计了一套基于Android平台的双模态情绪识别系统。系统使用蓝牙脑电采集头套采集脑电信号,传输至Android系统分析处理平台,设计了可视化的数据库以及可以删除的训练集,可以训练SVM模型并设置SVM参数,操作方便且人性化。(4)本文设计实验测试基于Android平台的双模态情绪识别系统的情绪识别性能,并进行双模态、脑电模态和人脸表情模态的对比实验。通过实验结果可知,本系统的正负情绪识别正确率达到73.75%,系统具备可行性。同时对比实验证明,相比传统单一地通过脑电信号或者人脸表情识别情绪的方法,通过双模态的形式能够提取更多情绪的信息,情绪识别效果更好。