基于多角度交叉注意力与特征增强的知识库问答方法

来源 :武汉科技大学 | 被引量 : 0次 | 上传用户:zgr2020
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识库中包含大量的知识,如何从特定结构的知识库中挖掘自然语言问题的答案成为了近年的研究热点。知识库问答主要研究如何将问题转化为结构化查询从而对知识库中的知识进行检索。随着深度学习的发展,知识库问答的查询方式演变为在同一个语义空间下将问题与候选答案信息进行语义相似度比较后得到语义相似度最高的候选答案信息对应的候选答案作为问题的答案。
  在知识库问答研究中,通常选取知识库中的实体作为候选答案,选取知识库中与候选答案有关的路径和上下文等多视角信息直接表示候选答案信息,忽略了多视角信息间的相关性与整体性;在单词级别的问题与多视角级别的候选答案信息上获取二者的相互影响,忽略了二者在整体级别上的相互影响。由此,提出一种多角度交叉注意力模型,旨在从问题和候选答案信息等多个角度运用注意力机制来加强二者的表示,首先利用自注意力机制来加强问题和候选答案信息的上下文信息;然后在多视角信息间运用交叉注意力机制来获取信息间的交叉影响以加强候选答案信息的表示;最后将问题和候选答案信息进行整体表示后,运用双向交叉注意力机制在整体角度上获取二者的相互影响以加强其表示。此外,问题中存在与候选答案类型有关的类型启发信息和与候选答案时序推理有关的隐藏时序信息,这些信息对候选答案的过滤和排序有一定影响。由于问题的信息过于冗余,模型很难从中获取到这些关键性信息。由此,利用特征增强的方式来加强问题中的类型启发特征和隐藏时序特征,将依存树与类型转换表结合获取问题中的类型发现词,根据时序词表来获得问题中的隐藏时序词,然后将类型发现词和隐藏时序词通过注意力机制的方式对问题的类型启发特征与隐藏时序特征进行增强,从而改进候选答案的过滤和排序。
  在FreeBase知识库与WebQuestions数据集上进行了实验,F1值达到了55.91%,优于最近表现较好的方法,有效的提升了知识库问答系统的正确率,并且通过消融实验,进一步证明该方法的有效性。
其他文献
机器阅读理解是自然语言处理领域的一颗明珠,同时也是该领域的研究焦点。机器阅读理解技术可以广泛应用于语音助手、智能客服、聊天机器人等领域。近年来,得益于大数据和深度学习技术的兴起,机器阅读理解获得了广泛的关注。在传统的工作中,主要采用基于规则和基于深度学习的方法。其中,基于深度学习的方法对问题和上下文分别进行编码得到向量表示,然后利用注意力机制使得两者进行交互,最后利用交互的语义信息预测答案的开始和
目标检测是计算机视觉领域的重要方向,随着深度学习方法及相关硬件设备的发展,它在自动驾驶、智能监控、智能手机等方面都有着广泛的应用,具有重要的研究意义。  基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,本文提出了一种非对称沙漏网
学位
测量胎儿头围可估计胎龄和监测胎儿的生长。医学超声影像技术由于其廉价性、无辐射和实时性,成为测量胎儿头围的首选方式。然而,目前的主要测量方式是通过有经验的医师手动测量,测量精度依赖于医师临床经验。这种方式易导致超声图像测量耗时,增大医师工作量。现有有经验的医师资源并不充足,一些落后地区更为明显,影响孕妇产前检查的准确性。为了提高超声测量的工作效率以及准确性,本文提出一种测量方案帮助解决自动测量胎儿头
行人重识别是指在跨摄像头的场景下进行行人的匹配。它是计算机视觉中的热门研究领域之一。在实际应用场景中,摄像机拍摄角度的变化、身体部件被拍摄场景中物体遮挡以及行人姿态存在多变性等问题使得行人在检测框内的空间上不对齐,这给行人重识别的特征提取阶段带来了极大的挑战性。因此,如何在跨视角场景下获取具有高判别力的特征是行人重识别的研究重点。针对以上问题,本文提出了基于密集3D部件对齐的行人重识别方法研究。具
在大量实际问题中,往往存在不止一个全局最优解和多个局部极值解,如何构造一种优化算法,使之能够求出所有全局最优解和尽可能多的局部最优解,这类问题就称作多模态优化问题或多峰函数优化问题。而多模态优化问题又可以分为多模态单目标优化问题和多模态多目标优化问题。烟花算法是最近才提出一种群体智能算法,可以用来求解很多实际的优化问题,具有很好的局部搜索能力。但是近年来烟花算法还没有被应用到求解多模态优化问题上。
传统机器学习方法只有在训练数据和测试数据满足相同分布时表现出良好的效果。在现实场景中,训练数据往往与测试数据分布不同,从而导致分类准确率降低。  在领域自适应问题中,将训练数据作为源域;而将测试数据作为目标域。其目的是减少源域和目标域之间的分布差异。本文提出两种基于流形子空间学习的领域自适应方法,用流形学习的方法将源域和目标域映射到同一子空间中去。在这个子空间中,源域数据和且标域数据有着相似的分布
手势识别技术作为人机交互领域内的关键技术之一,因其便捷、自然的交互方式有着广阔的应用前景,也因此成为各国学者的研究热点。传统手势识别技术通常借助外部穿戴设备,限制了用户活动自由,逐渐被基于计算机视觉的手势识别技术取代。而基于计算机视觉的手势识别方法易受光照变化、环境背景的影响,有一定的局限性。深度采集设备Kinect的出现为这一缺陷提供了解决方案。因此,本文基于Kinect设备采集的深度图像与彩色
学位
网络技术的发展以及信息的快速流动导致多媒体数据急剧增长,呈现出规模变大、类型增多的特点。在这种情况下,传统的单模态数据检索再难满足用户对多种类型数据的检索需求,同时大规模的多媒体数据对检索提出了新的挑战。利用哈希码低存储、高效率检索的特点,跨模态哈希检索在众多的检索方法中得到了研究者们越来越多的关注。  跨模态哈希检索的关键问题是如何利用异构数据中的潜在关联缩短语义鸿沟。大多数的方法忽略了以交互方
有些发生概率较小的人群行为(例如踩踏,骚乱等)可能会造成巨大的财产和生命损失。现有群体视频数据集的平衡性较差,一般包括大量普通群体视频的样本,而某些发生概率较小的人群行为样本却很少。  人群行为识别是一种多标签分类任务,具有场景复杂,样本不均衡等特点。在现实场景中,即使是同一种人群的行为也可能具有不同的场景,外观噪声往往较大;同时,人群行为通常伴随着各种运动信息,从而导致相对较大的动态噪声。为了有