随着互联网和人工智能技术的发展,目前市面上出现了智能音响、语音助手等产品。而机器如果能做到语音情感识别,就可以提供更友好的用户体验。除此以外,语音情感识别在抑郁患者治疗、线上远程教育等方面有着广阔的应用前景。随着深度学习在语音情感识别领域中得到广泛应用,语音情感识别准确率也得到了有效的提高,然而目前语音情感识别仍然有许多的研究难点。情感信息不均衡的分布在语音信号上,在这种情况下如何提取更为有效的特征,这对网络结构提出了更为严格的要求。同时在大部分基于深度学习的语音情感识别研究中,深度学习模型的输入是手工设计特征。特征的提取方式也影响着识别率。针对上述情况,本文联系语音的上下文信息聚焦于对情感分类更有用的语音部分,以及使用深度学习模型直接对原始语音信号提取特征。首先本文从语音中的情感信息分布不均衡出发,通过1D-Res Net提取各个时刻的特征,再加入自适应池化模块。自适应池化模块联系了语音上下文信息预测每个时刻特征的权重,将所有时刻特征的加权平均值作为最终的特征,进而送入全连接层分类。权重通过网络学习得到,用来调整不同时刻特征在融合后的全局特征中的贡献程度。同时本文不仅从正向序列预测每个时刻特征的权重值,也从反向序列得到另一组权重值。通过实验验证了联系语音上下文信息预测权重值的自适应池化模块的有效性。其次本文结合文献分析了语音的强标签形式。本文对上述中基于上下文信息预测重要性分数的模型加以改进,根据这种强标签情况,构建关键帧损失函数,对重要性分数加以显式约束,使其趋向于0或1,从而更符合强标签的有无情感信息情况。同时本文也加入中心损失函数,在训练过程中逐渐减小类内距离和增加类间距离。最终实验结果也表明了关键帧损失函数和中心损失函数可以提高模型的识别准确率。最后本文从神经网络的输入出发。在语音情感识别研究中,大部分深度学习模型的输入是手工设计特征。获得手工设计特征的过程可能存在信息丢失,因此本文构建并使用金字塔形网络直接对每一帧原始语音信号提取特征。另一方面,因为有关于语音方面的手工设计特征根据人的先验知识设计得出,在语音相关的领域中被广泛的使用,有着良好的表现。因此本文将金字塔形网络提取的特征与MFCC融合,进而得到表征能力更强的特征。最终实验验证了金字塔形网络提取的特征和融合特征的有效性。