论文部分内容阅读
随着计算机网络技术的高速发展以及计算机硬件性能的快速提升,人工智能的应用越来越广泛。情感识别作为人工智能领域最重要的研究方向之一,也开始应用在社会生活的各个领域。随着人工智能在教育领域的逐步推进,人们也开始探索情感识别技术对教育的影响,研究如何将情感识别应用到教学过程中。了解学生在学习过程中的情感变化可以跟踪到学生的学习专注度和学习效果,进而做出进一步有针对性的改善,实现科技驱动下的因材施教,使人工智能更好地融入教育领域,为教育领域在实现智慧教育的前进道路上保驾护航。情感识别研究的开展主要基于人的面部表情、说话的语气语调、整体的行为动作、书写的文本信息和生理信号方面,可以大致的分为生理信号识别和非生理信号识别。基于非生理信号的识别方法最大的优点是操作简单且无接触无干扰,而生理信号一般需要接触式的采集仪器且操作复杂,但其情感识别的可靠性要强于非生理信号,因为人们可以伪装自己的表情、语音以及动作行为。学生在学习过程中是需要专注的,不能受到环境的干扰,所以在教育领域的情感识别中应该尽量做到无接触式的识别。从这个角度出发,本文着重研究了非接触式情感识别的关键技术。首先在无接触的情感识别方法中,基于面部的识别技术相比于语音和文本来说采集方式更方便且应用场景广泛,为了保证识别的可靠性,本文加入了生理信号,且采用了毫米波雷达系统代替了检测仪器实现了非接触式采集心率信号,将呼吸信号和心率信号从雷达系统的回波信号中分离出来。本文以基于面部视频和心率信号的情感识别为出发点,在心率信号方面运用传统的HRV特征提取方法,在面部视频方面运用了卷积神经网络提取特征,应用长短期记忆网络(LSTM)以及一维卷积神经网络建立了智能情感识别算法。并在公开的多模态情感数据集AMIGOS上验证了基于ECG信号与面部视频信号智能情感识别算法的有效性,且融合特征的情感识别效果要优于单独ECG信号的面部视频的情感识别效果,也验证了多模态情感识别的性能要优于单模态情感识别。