基于图神经网络的实体关系抽取技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wmrik
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系抽取是自然语言处理领域重要的研究方向,如何有效地从大量的文本中提取出关系事实,是近年来的研究热点。现阶段的主流方法通常使用深度学习技术进行关系抽取,这些方法大多集中在单个句子中的关系抽取。然而,大多数关系事实只能从一个段落或者一篇文档中抽取。由于段落和文档输入较长,现有的深度学习方法无法准确在文本中定位关系事实位置,并且不能对跨句子的关系进行推理。针对上述问题,本文结合图神经网络技术构建实体图推理跨句子的关系,并联合注意力分布预测来定位关系事实位置。本文的主要贡献包括以下三个部分:1.提出文档级异构图神经网络算法(DH-GNN),其目的在于推理跨句子的关系。DH-GNN首先利用深度学习相关技术获得实体的高阶语义特征表示;其次构建实体的异构图,并结合图神经网络提取实体异构图的结构信息;最后用实体向量拼接的方式对关系事实进行表示和预测。实验结果表明:该方法较现有的深度学习方法在文档级关系抽取的准确率上具有显著的效果。2.提出联合注意力分布预测的图神经网络关系抽取算法(JA-HGNN),其目的在于有效地定位关系事实位置以提高关系预测准确率。JA-HGNN首先通过预测关系事实的注意力分布获得实体的局部表示,并结合DH-GNN算法获得实体的全局表示;其次聚合实体的全局与局部表示的信息后,通过双线性层对关系事实进行预测;最后,JA-HGNN对注意力分布预测和关系预测进行联合训练以减小流水线训练方式带来的传播误差。实验结果表明:该方法能有效定位关系事实位置,减弱无关信息干扰,提升文档级关系抽取的效果。3.为了解决现有关系抽取系统对文档级关系抽取误差较大的问题,本文结合DH-GNN和JA-HGNN算法,对图神经网络关系抽取原型系统进行设计实现。图神经网络关系抽取系统基于B/S的架构设计,包含模型训练、模型预测和报告记录三个模块,浏览器端(B)主要负责报告记录的可视化,服务端(S)主要负责模型训练和模型预测。该系统能有效地抽取文档中多个实体间的复杂关系,这些抽取的关系事实能被应用于知识图谱的构建,智能问答等下游任务。
其他文献
强化学习是机器学习领域的一个重要分支,它通过模拟生命体大脑的学习思维模式来学习行动策略。与传统的学习方法不同,强化学习中的智能体在学习时不被直接告知需要采取哪些行动,而是得到这些行动带来的即时奖励学习一个策略最大化这些奖励。通过“试错”和“延迟奖励”这两种方式,强化学习能够处理很多传统机器学习很难处理的高交互性,决策性问题。深度强化学习在强化学习的基础上,把深度神经网络运用到其中。这可以解决传统强
群体智能灵感来源于生物群体的智能行为,蚁群优化算法和遗传算法是两种典型的群体智能算法。受益于其分布式求解方式,群体智能可由忆阻网络等硬件电路实现并行。忆阻器是一种非易失、可编程的新型电路器件,在物理上具有诸多优良特性。相较于传统存储计算异地的计算模型,忆阻器可实现内存计算模型(存储和计算同地完成),消除内存与计算单元间的传输代价。因此,忆阻网络被应用于深度神经网络和群体智能等算法的并行计算与记忆计
21世纪,随着智能手机、GPU硬件的更新迭代,计算机图形学已广泛地运用在生活和工程中,手机游戏凭借渲染算法获得良好的视觉效果,高级渲染效果甚至可以很好的模拟真人的外观。“智能虚拟人”是三维渲染与人工智能结合的产物,表现结合智能算法,拥有一定自主学习能力于可交互性的虚拟角色,虚拟人的研究可以为探究人类自身的智能提供了参考,同时虚拟人具有一定应用值,可用于智能服务,虚拟主播等。随着三维相关的人工智能技
近些年车联网技术伴随智能汽车的风口进入人们的视野,在5G通信、云计算、人工智能等技术的加持下,车联网技术在几次的产业升级中不断发展,智能汽车也上升到国家战略层面。在研究车联网发展过程中,发现车辆智能终端的云端监控平台和终端安全也是重要的课题,车辆的终端安全关系到道路车辆和设施安全、行人和驾驶员的人身安全,近些年也频繁出现车辆遭遇劫持等问题。论文主要面向车辆终端的软件层面的安全监控,配合云端的安全分
在大数据时代,互联网上产生了大量的不同题材的内容,导致用户不能快速地获取感兴趣的内容,严重影响了用户的使用体验。为了解决这个问题,推荐系统取得了成功的研究与应用。由于用户对项目的评分能反映用户对项目的喜欢程度,所以大量的推荐算法从用户对项目的历史评分数据中提取有价值的信息,据此提供推荐内容。现有推荐算法通常将用户的历史评分数据表示为高维稀疏矩阵,并从高维稀疏矩阵的评分数据提取数值特征,然而这些算法
目标检测作为人工智能学科中与生活最为贴近的研究热点之一,在自动驾驶、人脸检测、智能监控、医疗及工业检测等场景都有着广泛的应用。随着深度学习的发展,目标检测任务在准确率越来越高的同时,神经网络模型也越来越复杂。本文通过对目标检测网络以及神经网络压缩算法的研究,以端到端目标检测网络为切入点,着手于知识蒸馏、模型剪枝及参数量化三个方向对目标检测网络的压缩问题进行了研究。希望给目标检测网络的压缩问题带来新
随着机动车辆在全世界的逐渐普及,人们在便利生活的同时也伴随着交通安全事故。根据世界卫生组织的统计结果表明,全球每年死于交通安全事故的人数超过一百万人,其中接近五分之一的事故是由驾驶员分心行为所引起。驾驶员安全行为检测是对驾驶员在驾驶机动车辆过程中出现的不安全类别行为进行检测预警,如使用手机、抽烟和喝水等不安全动作。在图像检测领域,传统机器学习对待检测图片进行人工特征提取和特征匹配,其次使用支持向量
人体跌倒干预目前多局限于跌倒检测,以便检测到后及时送医以避免造成更大损失,但是并不能避免跌倒发生。人体跌倒碰撞前行为检测旨在人体发生跌倒碰撞前检测跌倒行为的发生。本文开展人体跌倒碰撞前行为检测研究,分别使用可穿戴惯性传感器和Kinect摄像头采集人体跌倒的惯性传感数据和视频序列数据,基于可穿戴传感器、Kinect摄像头和多视角融合方法进行人体跌倒碰撞前行为检测研究,适用于多环境下人体跌倒保护。论文
在深度学习技术快速发展的今天,现有的文本摘要技术也因此受益,处于蓬勃发展期。但是生成式文本摘要技术发展至今,依旧存在着句子冗余/错漏,内容覆盖主题不足,句子流畅度不高以及训练效率低下且难以部署的问题。本文根据对生成式文本摘要技术的研究,结合现有前沿技术,由此分析、设计并实现了胶囊-注意力指针模型,在该算法的基础之上,完成了相应的文本摘要高并发微服务复合架构的设计与实现。本文的结构以及具体工作如下:
准确识别计算机断层扫描图像上的恶性肺结节中是早期发现肺癌的关键。但这是一项繁琐和困难的任务,因为需要放射科医生手动标记结节位置。随着深度学习技术的引入,基于卷积神经网络的计算机辅助结节自动检测系统被开发用于肺癌早期的检测和分类筛查过程,显著地提高了放射科医生的诊断质量和效率。本论文重点研究了基于3D卷积神经网络的肺结节检测以及分类方法,研究工作主要分为以下两个部分:(1)基于双路径U-Net网络的