语音是人们传递情感和信息交流最便捷高效的方式。语音情感识别是依据给定的语音信号,自动地识别分析出语音中所包含情感的技术。语音情感识别在医疗、教育、刑侦等领域应用广泛,在人机交互中担任着至关重要的角色。从传统声学特征的研究,到近年来深度学习技术应用于语音情感识别中,研究者尝试了各种不同的语音情感识别方法,取得了不错的研究进展。但由于语音数据集中存在样本少、数据类别不平衡等问题;基于传统声学特征的方法中存在提取特征时信息丢失、特征包含的情感信息较少等问题,因此传统声学特征也被称为低级描述特征(Low-Level Descriptors,LLDs);基于语谱图的方法中存在如何提取情感特征、如何处理无关信息的影响等问题,语音情感识别仍面临巨大的挑战。基于以上研究难点和重点,本文研究内容主要包含以下几部分:1.针对基于传统声学特征方法中存在的问题,本文提出了基于LLDs特征和深度学习的语音情感识别方法。首先,在大量声学特征中选择和情感较为相关的语音特征,并融合统计学特征(High-level Statistical Features,HSF)组成情感特征集,降低情感特征的维度,进行句级的特征分析。然后,采用卷积神经网络(Convolutional Neural Network,CNN)从特征集中进一步提取更深层次的情感特征。CNN能够有效地分析特征之间的关联性,并保留有用的信息。最后,用极限学习机(Extreme Learning Machine,ELM)模型对提取的特征进行分类,ELM模型能解决数据样本少时分类效果差的问题。本文对提出的方法进行多组对比实验,验证了基于CNN和ELM模型方法进行语音情感识别的有效性,并分析了LLDs和HSF特征组合的效果,同时比较了支持向量机(Support Vector Machine,SVM)和ELM分类器的性能。2.针对基于语谱图方法中存在的问题,本文提出了基于语谱图和深度学习的语音情感识别方法。首先,提出了数据增强和平衡数据集等语音数据预处理的改进方法,减小语音数据样本少、类别不平衡的影响。其次,采用三通道的语谱图作为深度卷积神经网络(Deep Convolutional Neural Network,DCNN)模型的输入。三通道的语谱图能较好的表示语音数据,保留和情感相关的特征。然后,采用预训练DCNN模型从语谱图中提取情感特征,能较好地解决数据样本少,网络训练拟合差的问题。之后,将语音特征输入到双向长短时记忆神经网络(BiLong Short-Term Memory,BLSTM)中进一步提取时间维度上的情感信息。针对情感无关特征的影响问题,在DCNN和BLSTM模型后引入注意力模型(Attention model),凸显和情感相关的特征,减小不相关信息的影响。最后,采用深度神经网络(Deep Neural Network,DNN)模型对情感特征进行分类,取得了较好的分类结果,验证了所提出基于语谱图和深度学习方法的有效性。本文主要从基于传统LLDs特征和语谱图表示特征出发,提出了两种语音情感识别方法。在柏林语音情感数据库(EMO-DB)和南加州大学语音情感数据库(IEMOCAP)中进行大量实验,取得了不错的实验结果,最高分别获得了87.86%和68.50%的未加权准确率,验证了本文所提出方法的有效性。