情感识别在人机交互等领域应用前景广阔,使机器有效的理解情感可以极大改善人机交互的体验。情感可以通过多种方式表达,而语音是传达情感最为便捷的途径之一。因此如何从语音信号中正确识别说话人情感,在情感识别领域受到了研究者广泛关注。基于此本文开展语音情感识别技术及其应用研究。本文基于深度学习模型,提出了两种语音情感识别方法,分别是基于注意力机制的非线性特征融合方法和基于多通道二维卷积循环神经网络的方法。基于注意力机制的非线性特征融合方法解决了线性融合无法关注时空特征之间非线性依赖的问题;基于多通道二维卷积循环神经网络的方法,解决了不同情感特征线性组合对情感识别结果的影响;设计开发了交互式语音情感识别系统,并将提出的两种模型分别应用在场景对话分析中以识别多人对话场景下每个说话人的情感变化。具体研究内容如下:（1）提出基于注意力机制的非线性时空特征融合方法,该方法解决了线性时空特征融合无法在细粒度上获取时空特征动态依赖关系的问题。该方法使用基于注意力机制的时间卷积网络学习语音中的空间特征,基于注意力机制的长短时记忆网络学习语音中的时间特征,并利用注意力机制进行非线性时空特征融合。该方法使用了三个注意力机制,其中时间卷积网络和长短时记忆网络中的注意力机制用来关注自身提取的高级特征中包含的情感相关特征,而模型间的注意力机制用来关注时空特征之间的动态依赖关系。实验结果表明,使用基于注意力机制进行非线性时空特征融合相较于线性融合可以获得更好的分类效果。（2）提出多通道二维卷积循环神经网络的方法。该方法将原始的低级手工特征根据特征的类型加以拆分,并将拆分后的结果依次注入到不同的卷积通道,再利用二维通道卷积块获得各个特征的局部信息,然后通过线性层将各个通道的输出转化为同一维度,并对相同维度的输出结果加以拼接。拼接后的输出为双向长短时记忆网络的输入,使用这种方式不仅能考虑到每种特征的独立性,还能考虑到语音情感特征中的全局信息。最后使用注意力机制强调语音信号中与情感相关的部分,忽略其中的静默段。实验结果验证了本文所提方法的有效性。（3）设计开发了交互式语音情感识别系统。该系统可以对多人对话进行情感识别。整体系统基于QT开发,采集到的原始语音信号经过谱减法进行增强,去除环境噪声;利用贝叶斯信息准则获取人声变化显著的时间点进行人声分离;利用端点检测算法去除静默段;利用声纹识别技术区分具体说话人身份;最后使用本文提出的两种情感识方法来识别每个语音片段的情感。此外该系统还支持播放语音、展示时序图和频谱图的附加功能。