情感交流是人们日常生活不可缺少的活动,情绪在人与人的交流中发挥着重要作用,情绪识别是情绪研究中的重要一环。目前,情绪识别已广泛应用于人机交互、安全驾驶等多个领域,近年来,基于生理信号的情绪识别由于其优越的分类性能被国内外广泛研究,深度学习也由于其强大的学习能力被应用于情绪识别来提高分类精度。然而,目前相关研究仍存在单模态特征质量不高、多模态间互补性未充分挖掘等问题。因此,本文围绕基于深度学习与生理信号的情绪识别方法展开研究,旨在通过提取更具鉴别性的单模态特征和充分挖掘多模态间的互补性,从而提高情绪识别精度,主要研究工作包括:（1）针对脑电特征提取维度不充分、脑电不同时间点数据对情绪分类重要性不一致等问题,提出基于脑电信号的单模态情绪识别模型Transformer-CNN,从空间和时间两个维度提取特征来解决脑电特征提取维度不充分的问题,以提高分类精度。首先,使用包含普通卷积和空洞卷积的两组瓶颈式CNN,分别提取相邻通道间和相距较远通道间的局部特征,提高了空间特征质量。同时,使用Transformer模型的多头注意力机制,从时序角度将脑电数据映射到不同的子空间,并重点关注脑电数据中与情绪相关性强的数据点,解决了脑电不同时间点数据对情绪分类重要性不一致问题,提高了时序特征质量。最后,通过注意力机制赋予有效特征更大的权重,以进一步提高分类精度。实验结果表明,该模型在SEED数据集和SEEDIV单模态数据集上可以取得94.96%和82.32%的准确率,证明了该模型的有效性和优越性。（2）针对单模态特征质量不高、未充分挖掘跨模态上下文交互信息和融合过程中低维特征包含的残余信息等问题,提出基于脑电和眼动信号的多模态情绪识别模型A-MF。首先,引入Transformer-CNN模型用于脑电信号的特征提取,并通过Transformer模型提取眼动特征,解决了单模态特征质量不高的问题。其次,通过相似性计算和注意力机制提取跨模态上下文交互特征,解决了跨模态上下文交互信息挖掘不充分的问题。另外,设计深度融合模块,通过多头注意力、多层感知机以及残差连接将特征深度融合,提高特征质量。最后,设计多阶段融合框架,并将深度融合模块引入到多阶段融合框架中,深度融合不同时期的特征,充分挖掘低维特征包含的残余信息。实验结果表明,该模型在SEEDIV多模态数据集上可以取得89.17%的准确率,证明了该模型的有效性和优越性。