Speech Emotion Recognition via Domain Adaptation

来源 :江苏大学 | 被引量 : 0次 | 上传用户:yyyypolo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语音情感识别(Speech Emotion Recognition,SER)或声学情感识别自语音识别、说话人识别和情感识别研究诞生以来,在过去的几十年里取得了重大进展。近年来,研究者从不同的角度进行语音情感相关的研究,目标是实现高效的现实世界类人的语音情感识别系统,以解决现实生活中新型的人机交互问题。然而,目前公开的情感语料库存在录制条件、语言以及说话人等方面的差异,且从同一分布中提取的训练和测试样本的特征以及相同特征空间参数化的前提不适用于大多数真实场景。当SER系统在不同的语音语料库中进行训练和测试时,会遇到特征分布差异而导致的模型泛化性能差的问题。此外,跨语言识别的问题仍然是情感识别中的一个挑战。
  为了解决上述问题,提出三种新的无监督域自适应语音情感识别方法。本文主要工作包括:
  1)提出一种无监督域自适应语音情感识别方法。该方法采用耦合深卷积神经网络(CDCNN)结构。该结构引入源域分布和目标域分布的相关对齐损失(CALoss),有效地减小域差异,且能学到域之间的非线性变换。此外,源域和目标域对应层中的权重不共享但相关,可有效建立一个域到另一个域的迁移。为了评估所提出的方法,使用Interspeech2009情感挑战赛的FauAibo情感语料库作为目标数据集,两个公开的语料库(ABC和EMODB)作为源数据集,实验结果表明:所提出的方法识别准确率优于现有的方法。
  2)提出基于双重排斥注意转移(DEAT)的无监督域适应语音情感识别方法。该结构适用于源域和目标域卷积自适应的非共享注意力转移过程。此外,该模型通过调整源域和目标域的二阶相关统计量,在卷积层和完全连接层上实现双域自适应过程,以学习有效的非线性变换,并捕获良好的可鉴别特征。同时,为了有效地对不同域偏移进行建模,将相应层的权重设置为互斥但相关。该模型将源域的分类损失以及卷积层和全连接层的相关对齐损失降到最低。以Interspeech2009情感挑战Fau-aibo情感语料库为目标数据集,以两个公开的语料库(abc和emo-db)分别作为源数据集进行跨域语音情感识别,实验结果表明:所提出的方法在两个源数据上均优于目前最好的结果。
  3)提出基于三重注意力的非对称卷积神经网络语音情感识别方法,以解决跨语言和跨语料库语音的情感识别问题。该方法采用交叉熵损失和中心损失的联合约束,利用伪标签学习目标域的可鉴别特征表示。该模型采用三个非对称的注意卷积神经网络,其中两个网络用于对未标记的目标样本进行人工标记,源于源标记样本训练的输出结果,另一个网络用于从伪标记的目标样本中获得显著的目标识别特征。在三种不同语言类型(即英语、德语和意大利语)的数据集上验证所提出方法的有效性。
其他文献
随着中国经济社会的快速发展和城镇化进程的快速推进,交通基础设施得到了大的改善。私家车成为人民对美好生活的交通需要,市民驾驶私家车出行已成为重要的出行方式。同时,随着网络的普及和通信技术的快速发展,各种车载智能传感设备普遍应用,如:智能车机、云后视镜、OBD盒子等等。通过这些智能传感设备,可获取大量的车辆移动轨迹等时空数据,为感知市民的出行信息成为了可能。在大数据时代,开展私家车轨迹数据相关研究,深
学位
随着高性能计算(High-Performance Computing,HPC)技术的发展,高性能计算机的性能有了质的飞跃,但其能耗也相应的快速增长。大规模计算集群系统消耗了越来越多的能量,在运营成本、环境和系统可用性等方面产生各种问题。目前,超级计算和HPC计算机的功率消耗已达到兆瓦级别,排名第一的“Summit”已达到9.783兆瓦。因此,HPC计算机所面临的能源消耗问题已成为该领域发展的一个重
把具有不同关键等级的多个功能集成于同一嵌入式计算平台,以平衡系统中越来越复杂的功能与受限的计算资源、硬件尺寸、功耗以及成本等资源之间的矛盾,是当代嵌入式系统发展的重要趋势。这种系统被称为混合关键级系统。在混合关键级系统的调度中,一方面需要充分考虑功能的关键等级,通过保证具有较高关键等级的功能的及时完成,以满足系统的安全性和可靠性要求,另一方面需要通过对系统资源的有效配置,优化具有低关键等级的功能调
现实世界中充斥着大量的信息,而人类对外界信息的感知大部分都是依靠人类的视觉处理,这主要源自于人类视觉系统(HumanVisualSystem,简称HVS)具有强大的信息处理与感知能力。对于一个给定的场景,人类的注意力往往会关注在一些比较重要的目标上,从而自动地忽略掉大量无足轻重的信息。在场景中,能够吸引人类注意力的目标被称为显著性目标。面对图像数量每天以指数增长的现状,科学家模拟人类的视觉机制展开
根据文本内容为不明确词义的词汇赋予一个合适词义称为词义消歧(WSD)。WSD的目标是提高一些实际应用场景中的精确度,如信息提取、自动汇总或机器翻译等,它是通过一种蝙蝠算法(BA)的智能计算方法来实现的。BA来自元启发式方法的群体智能家族。由于BA是一种基于集群的算法,因此它在探索搜索空间的广泛领域中有着巨大的潜力,这也使得它在多样化过程中非常高效。为了进一步改进搜索算法,采用了一种名为爬山算法(H
学位
背包问题(Knapsack problem)是最著名的NP难问题之一,它的应用场景极为广泛,包括运输、物流、切割包装、电信、可靠性、广告、投资、预算分配和生产管理等许多工业领域。它既可以作为独立问题出现,也可以作为更复杂的编程模型的子问题出现。  同时,背包问题在信息加密、预算控制、工程选择、材料切割、货物装载、网络信息安全等方面具有重要的应用价值。从计算复杂性理论的角度来看,背包问题是一个经典的
学位
当长脉冲(亚皮秒、皮秒、纳秒甚至连续波)泵浦光纤反常色散区时,调制不稳定性会不断放大输入端低幅度噪声并导致随后通过高阶孤子衰变产生的基阶孤子振幅以及脉宽出现较大波动。这些具有不同能级以及脉冲宽度的基阶孤子在群速度方面的差异性将导致孤子间发生碰撞。孤子碰撞将导致具有较低峰值功率的基阶孤子将部分能量转移给具有较高峰值功率的基阶孤子从而使其形成光流氓波(RW)。光RW是一种具有超高强度极大红移并产生在超
访问超点是网络中在一段时间内与远大于平均值数量的对端有交互行为的主机。访问超点检测算法的目标就是找出流量中连接对端数大于阈值的所有主机。访问超点一般是服务器、代理、扫描器和被DDoS攻击的主机。访问超点检测对网络安全和网络管理有重要的意义,也是这个领域一个没有完全解决的热点问题。  现有访问超点检测算法存在如下缺陷:算法运行时间长,无法实时处理高速网络数据;不能在滑动时间窗口下运行,无法检测跨越时
学位
随着信息技术的进步,特别是人工智能技术的发展,人们在万维网上发布了包含大规模数据的知识图谱,为知识互联、为智能问答和语义搜索等诸多人工智能应用提供支撑。  知识图谱从逻辑上分成数据层和模式层,其中数据层主要描述现实世界的事实性知识,而模式层主要由公理组成,目的是管理和组织数据层知识。模式层知识一般也被称为本体知识。由于百科类网站的半结构化数据中缺少模式信息,导致公开的知识图谱中本体知识缺乏。本体的
学位
大数据蕴含着许多有价值的知识,想要获取这些知识,需要进行数据分析、数据挖掘等操作,函数查询是这些操作的基础。与一般查询不同,函数查询在查询表达式、查询结果等方面具有自己的特点,但是函数查询缺少类似于关系代数、关系演算等形式化的描述工具,这些问题阻碍了函数查询的理论研究。  为了对函数查询进行理论研究,针对查询结构和复杂度问题,本文给出了形式化定义和分析。目前,关系模型是大数据函数查询的主要数据模型
学位