【摘 要】
:
口语理解作为任务型对话系统的第一个流程,在对话系统领域中具有重要的研究意义。目前,对于口语理解任务的研究多基于深度学习方法,在每个对话领域都需要大量的标注对话数据来支撑模型的训练,因此带来相当大的数据成本。而针对数据问题被提出的小样本学习目前还处于初级阶段,主要应用在图像分类任务中。本文将小样本学习方法应用于口语理解任务,对于口语理解的两个子任务——意图识别和语义槽填充分别提出了适用于小样本数据的
论文部分内容阅读
口语理解作为任务型对话系统的第一个流程,在对话系统领域中具有重要的研究意义。目前,对于口语理解任务的研究多基于深度学习方法,在每个对话领域都需要大量的标注对话数据来支撑模型的训练,因此带来相当大的数据成本。而针对数据问题被提出的小样本学习目前还处于初级阶段,主要应用在图像分类任务中。本文将小样本学习方法应用于口语理解任务,对于口语理解的两个子任务——意图识别和语义槽填充分别提出了适用于小样本数据的模型,并将两个模型结合提出了一个口语理解联合训练模型。本文提出的小样本意图识别模型采用编码-归纳-关系的模型结构,应用了Bi-LSTM与注意力机制进行样本语义向量的编码,并将胶囊网络的原理应用到模型算法中,使用动态路由算法进行类原型向量的计算。将模型在最新小样本数据集Few Joint上进行训练与测试,本模型的意图识别准确率达到了78.04%,对比基线模型得到了不错的提升。本文提出了一种小样本语义槽填充模型,基于CRF算法原理采用转移概率与发射概率的结构,提出“本质转移矩阵”用于获取整个源域上跨领域的共享转移概率信息,并采用Tap Net来计算发射概率分数。该模型在同样的数据集上进行训练与测试,最终得到了67.11%的语义槽标注F1值,大幅超过了基线模型在相同数据集上的成绩。最后,本文将小样本意图识别模型和小样本语义槽填充模型进行结合,提出了一种小样本口语理解联合模型,提出共同编码-分别归纳-融合打分的模型结构,并在打分过程中创新性地将查询样本的意图分类结果融合到语义槽标注任务的相似度计算中。该模型在数据集上取得了79.74%的意图分类准确率和72.57%的语义槽填充F1值。实验结果表明,联合训练能够有效提升模型在两个任务上的表现。
其他文献
中医药学凝聚着深邃的哲学智慧和中华民族几千年的健康养生理念,在长期的临床诊疗实践中积累了丰富且宝贵的资源,这些资源种类繁多、数据量巨大并广泛分布于整个中医药领域,如何充分整合、利用及管理这些数据资源是中医药面临的难题。中药处方是中医药学理、法、方、药的重要组成部分,是在辨证论治的基础上选药配伍形成,基于大规模临床数据,发现治疗疾病的有效核心处方和潜在药物配伍可有效辅助临床决策支持。但当前仍然较多的
将收集到的动物行为视频素材,按照教育教学的目的要求,通过相关剪辑编辑软件,制作动物行为视频案例库。编辑完成的动物行为视频案例分为本能行为、学习行为、生存行为、繁殖行为、社群行为、动物福利和研究方法等类别,其中大部分为短视频和微视频,便于在动物行为学、生态学、心理学和社会学等课程的教育教学和相关科普活动中加以应用。动物行为视频案例教学不仅可以传递动物行为学的专业知识,还可为弘扬生态文明、建设美丽中国
聚类分析是一种重要的无监督学习方法,旨在挖掘数据中潜在的数据结构和规律,将数据划分为多个簇类,是数据挖掘、机器学习以及信号处理等多个领域重要的数据分析和处理工具,具有重要的研究价值和应用前景。随着计算机技术以及各种传感器技术的发展,数据获取与采集能力大大提高,数据的维度和规模越来越大,传统聚类算法因无法克服维数灾难问题而不再奏效。子空间聚类算法利用高维数据可能分布于多个子空间结构的数据特点,将样本
在我国建筑业日趋于高科技、信息化,BIM即building information modeling,建筑信息模型,它的发明与应用被整个建筑行业称之为其在建筑工程信息化方面所引起的第二次工程技术革命。早在2003年,BIM技术已经由国外引入到国内,只不过在最初几年,受到国内技术发展的制约并没有得到很好的推广,但是近些年来,随着国内科技的进步以及数字信息化时代的到来,BIM技术已经逐步在国内推广并得
互联网的高速发展使得国内外媒体由传统媒体过渡到了新媒体时代,各种自媒体平台层出不穷,涌现出了一大批自媒体人。自媒体人的创作内容吸引着一批粉丝订阅其运营账户,通过粉丝对于他们创作作品的互动情况,分析数据最能够反应运营情况。粉丝态度、评论舆情是对创作内容最直观的反馈,有利于自媒体人了解自己粉丝看法观点,直击粉丝内心想法。另一方面,可以通过广大粉丝评论对热点事件的看法观点所形成的态度进而了解舆情。将这些
点击率(Click Through Rate,CTR)预估是商业推荐系统中的一个重要任务,其关键是特征交互。精准的预估用户对广告的点击率能够为广告平台创造巨大的效益,为广告主带来即时点击并提升影响力,为用户提高服务质量。然而,由于特征交互极为复杂灵活,且真实场景的点击数据中的广告存在冷启动问题,建模有效的交叉特征极具挑战。本文针对点击率预估问题进行分析与研究,结合数据中的特征信息和域信息进行建模,
大数据时代,数字图像在各领域得到越来越广泛应用。例如,在安防、医疗等特殊领域高质量图像对专业人员的判断起着至关重要的作用,在社交媒体、电子商务等领域高质量图像能够给用户提供更好的应用体验。但在现实世界的实际应用中,由于硬件设备受到成本、自然环境等因素的影响,导致采集到一些分辨率低、质量差、纹理细节模糊的图像,提高这部分图像质量是一个亟需解决的问题。所以,采用图像超分辨率技术对图像进行高质量重建,以
三维块匹配联合滤波(Block-matching and 3D filtering,BM3D)作为目前最好的图像去噪算法之一,能够有效地去除图像中的噪声,但是仍然存在着丢失图像细节信息、对高噪声图像(σ≥40)去噪效果差、算法时间复杂度高等问题。图像去噪的目的是在去除噪声的同时,尽可能地保持图像有用信息。由于图像的边缘、纹理等细节信息和噪声,都主要集中在图像信号的高频部分,因此图像去噪的主要目标就
我国高速列车的发展处于世界领先地位,作为动车组旋转机械关键部件的主要组成部分,齿轮箱运行时的健康状况至关重要,一旦发生故障,将产生不可估量的费用损失,尽早进行故障诊断与分析,降低维修成本并且减少事故的发生,具有一定的工程意义。随着人工智能,深度学习的发展,基于数据驱动的方法成为故障诊断的主流技术,传统的方法是对振动信号进行降噪处理,时频分析及特征提取,最后人工对故障进行特征匹配,判断旋转机械是否出
车标识别为智能交通系统提供技术支撑,在智能交通业务应用中高效、准确识别车辆起着重要的作用。实际生产环境下的车标图像存在光照不均、车标倾斜,污损及复杂背景等影响因素,车标识别一直具有很大的挑战。传统的车标识别算法,主要以手工设计特征为主,缺点是:算法抗干扰能力有限,鲁棒性不高,不能准确有效的进行车标定位和分类。与手工设计特征相比,基于神经网络的车别识别算法在解决复杂环境的车标定位和车标识别问题具有极