在人类活动中,情感智能尤为重要,确定情感类别是情感智能的核心。通常,相同语义内容可能表达不同情感,不同说话者表达情感的方式也有所差异,要使计算机能够完全理解说话者意图,需要使计算机具有情感智能。语音情感识别旨在利用计算机从语音中提取最能表征情感的特征,并根据这些特征判定说话者的情感类别,从而更好地实现人机交互。语音情感识别研究主要面临以下问题:(1)缺乏统一的数据库构建标准;(2)未找到最能表征语音情感的特征;(3)声学模型的泛化性和鲁棒性较差。针对上述问题及各种神经网络的优点,本研究的贡献如下:(1)将循环神经网络、卷积神经网络和深度残差网络相结合构建新的语音情感识别声学模型,利用循环神经网络处理时序信息,卷积神经网络捕捉空间信息,深度残差网络处理网络层数加深时出现的梯度爆炸或梯度消失问题;(2)将Attention机制和Mask操作引入神经网络声学建模中,利用Attention机制关注语音中情感突出的部分,利用Mask操作提取语音中感兴趣的区域;(3)提出了4种新的深度学习模型。即基于注意机制的改进的双向长短期记忆(Attention mechanism based advanced long short-term memory,AA-LSTM)网络、基于注意机制的卷积双向长短期记忆(Attention mechanism based Convolution bi-directional long short-term memory,CBAM)网络、基于注意机制的跳跃卷积双向长短期记忆网络(CBAM with skip connections,SCBAM)和具有掩蔽操作的基于注意机制的跳跃卷积双向长短期记忆(SCBAM with masking operations,SCBAMM)网络;(4)将语音转换为频谱,采用所提出的4种新的深度学习模型提取语音的时序信息、空间信息及情感相关的34维深度学习特征和2维的谐波噪声比、基频等手工特征,并将谱特征和语音声学特征相结合作为声学模型的输入;(5)在EMO-DB数据库上验证本研究提出的4种新的深度学习模型的性能。通过实验证明,本研究所提出的4种深度学习模型——AA-LSTM模型、CBAM模型、SCBAM模型和SCBAMM模型在EMO-DB德语情感语音数据库上分别取得了70.09%、56.07%、64.49%和72.09%的识别性能。可以看出,SCBAMM模型实现了最优分类,将SCBAMM模型与其他研究者的分类模型相比,SCBAMM模型也取得了最优的分类性能。这是因为SCBAMM模型不仅有效提取了时频两域最能表征情感的特征,同时也结合了循环神经网络、卷积神经网络和深度残差网络的优势,具有强大的建模能力。