随着人工智能和社交网络的飞速发展,越来越多的智能设备改变着人们的生活和交流方式。语音是人类交流最自然、最有效的方式之一,而随着智能设备深度融入人们的生活,使机器去理解人类表达的情感变得尤为重要。语音情感识别成为语音领域研究的热门方向之一。而基于深度学习的语音情感识别模型作为近年语音情感识别的主流模型同样存在着一些亟待解决的问题。目前,语音情感识别系统存在着情感识别率较低,情感特征不明晰的问题。而如何设计网络结构提取有效的语音情感特征,完善现有的语音情感识别模型是研究的重点。因此,结合目前较成熟的深度模型,在此基础上进行网路结构的设计,选取更能提高情感识别率的情感特征,毫无疑问是目前语音情感识别重要的研究课题。针对以上背景,本文的主要研究和创新之处如下:1.根据传统声学特征和CRNN网络,提出了基于HSF-ACRNN的语音情感识别模型。首先建立端到端语音情感识别模型,其次探究不同特征对语音情感的影响。最后通过实验发现,传统的声学特征结合深度神经网络提取深度特征能更好的提升语音情感识别的准确性。基于此,本文对原始音频数据进行了不同的裁剪和映射,设计出了HSF-ACRNN情感识别模型,该模型能够较好地区分情感的种类。2.提取不同角度的语音情感特征,并进行特征融合,提出了基于时间金字塔池化的多特征语音情感识别模型。根据先前的研究发现,从不同角度提取的特征在不同的数据集表现不一,而将特征进行融合后能够较好且稳定的识别不同语音数据集的情感类别。基于此,本文从不同角度提取音频情感特征,通过时间金字塔池化算法获取到音频段级别特征,并将特征进行融合后,在三个语音情感数据集上进行实验,分别取得了3.8%、4.8%和17.41%的提升。3.为了发掘韵律对情感的影响,提出了结合韵律清洗的语音情感识别模型。情感的分类特征应当是非个性化的情感特征,分类的网络模型应结合认知理论而进一步改进和探索更深层次的语音情感特征。筛选和强化韵律等非个性化特征对于情感的识别会有更好效果。本文结合自监督学习模型提取语音表征并通过韵律编码器网络清洗韵律特征,对语音情感类别的识别有一定的提升。本文对语音情感特征选取和网络结构优化方面进行了研究,结合现有的成果,通过对不同数据集上的实验进行分析,得到了对语音情感识别结果较好地情感特征,完善了语音情感识别模型,并最终探究了音频本身韵律等非特个性化特征对情感识别的影响,取得了较好地识别结果。