基于注意力机制的实体识别及关系联合抽取方法研究

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:C12sdn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体识别及关系联合抽取是指从非结构化的自然文本中抽取命名实体并判断实体之间的语义关系。命名实体识别和关系分类在后续自然语言应用任务如知识图谱补全、问答系统、智能搜索等扮演着十分重要的角色。传统方法将实体识别及关系联合抽取分为两步:第一步命名实体识别,先指出可能含有关系的实体对;第二步关系分类,对实体对之间的语义关系进行分类。这种流水线式(Pipeline)方法虽然容易实现,每个部分都具有高度的灵活性,但是该方法却忽视两个子任务之间的相关性,导致实体识别的误差会传播到关系分类任务中,造成总体抽取准确率较差。联合抽取方法同时解决两个子任务,但现有多数方法都采用特征工程。特征工程的使用不仅会引入额外误差,增加模型的运算成本,最重要的是人工特征费时费力且覆盖率较低。此外,自然文本中的复杂语句本身也存在多个实体和多种关系重叠等问题,现有的方法对于此类问题没有很好的解决办法。针对上述目前实体识别及关系联合抽取研究中存在的识别分类与性能方面的问题,本文对基于深度学习的关系分类方法和联合抽取方法展开研究,重点构建表达能力突出、语义丰富且分类准确的基于注意力机制的关系分类模型,并在此模型基础上设计基于多头选择的联合抽取模型。论文的主要工作如下:·对于语义关系分类准确率问题,本文提出一种基于变分自编码器的关系分类模型,该模型由基于时序注意力机制的分类器和基于变分自编码语言模型的正则器组成。从时序角度得到相对于最终语义关系类别的注意力分数,并使用特殊设计的注意力门控循环单元形成语义丰富的序列隐含表示。在语义关系分类器中引入变分自编码语言模型作为正则器,有效提升了分类的准确率。·对于联合抽取的关系重叠问题,本文提出一种基于多头选择的联合抽取模型。分析多头选择联合抽取基础模型中编码特征和关系得分的不足,本文在编码过程添加自注意力,一方面进行句子内部结构特征的提取,另一方面其中的多头注意力能够捕获单词之间相互关联的含义;在关系评分过程引入特殊设计的注意力子句特征,将该注意力子句特征与实体标签信息拼接起来,提高实体之间关系特征的表达能力,从而解决联合抽取中的关系重叠问题。·为了全面评估本文提出的模型,本文在公开数据集上分别进行了关系分类和联合抽取实验。实验结果表明,本文提出的方法具有良好的实验表现,能够有效提升语义关系分类准确率、召回率和F1值,并有效解决联合抽取中存在的重叠关系问题。
其他文献
作为社会关注热点之一的青少年体质健康问题,少年强则国强,青少年的健康成长与国家发展息息相关。青少年参加户外运动能够弥补学校体育课的不足,同时达到培养运动兴趣、增强青少年体质,活跃大脑思维的积极目的。现阶段国家出台了一系列推动青少年户外运动的政策,对其长远发展十分利好,并且青少年户外运动已经取得了明显发展和进步,但相比一些国外发达国家,我国青少年户外运动的起步较晚,在开展过程中仍然存在不足,为了青少
学位
随着人工智能、云计算等技术的快速发展,人体行为识别已经成为当前的一个热点研究方向,并广泛应用于智能家居、智能医疗及智能工厂等领域,同时伴随着微型传感器和智能硬件的发展,基于可穿戴传感器的人体行为识别得到广泛应用。人体行为识别面向的行为类型主要分为三种:静态行为(站立)、动态行为(走路)和转移行为(站立-走路)。目前,大部分的研究集中在静态和动态行为的识别上,对于转移行为的研究还存在着不足,而转移行
5E教学模式作为一种新兴模式,在国外被广泛应用。近几年才在国内发展开来,由于研究时间尚短,发展比较缓慢。本研究通过采用5E教学模式来进行初中生物活动课的教学,激发学生对生物学习的兴趣,培养学生的动手操作能力、创新意识和探究能力,提升学生的生物科学素养,为教师在生物活动课的教学中实施5E教学模式提供一种可以借鉴的思路与方法。本研究通过文献研究法、问卷调查法、等组实验法、课例研究法以及非结构式访谈法,
学位
行人的再识别研究在社会治安领域和商业领域受到越来越多的重视,其中大量的行人再识别研究都是基于图像和视频的计算机视觉领域方法,通过使用不同的再识别技术在不同设备的图像视频中检索出需要的用户。随着智能便携设备的普及,人们在日常生活中产生了海量带有地理位置的移动轨迹数据,而利用历史轨迹数据对行人进行再识别却并未获得足够多的关注。本文采用呼叫详细记录数据作为移动轨迹数据,首先采用改进的聚类算法、马尔可夫模
初中历史学科作为一门基础性的人文社会学科,是中学阶段学科教育的必要组成部分。自2001年初中历史新课改实施以来,强调初中历史教学要以促进中学生的全面发展为教育理念,在教学过程中更加重视学生学习兴趣的激发与培养,重视学生自主发现问题并实际解决问题的综合能力的培养以及学生人文素质的培养。而学科教学方法的多样化及其创新应用是完成历史学科教学任务、实现历史学科教学目标的重中之重。本文旨在通过研究引导发现法
学位
学位
城市作为承载人们生活的建筑空间,与人的情感、心理、文化息息相关,也由于特定的政治、经济或者历史地位具有某种象征性。从本科到研究生阶段,我的创作一直围绕一座古老的小城展开,这座小城是我的故乡记录了我的幼年时光,并且它是保存相对完整的一座古代城市,作为历史遗存,在当下有特殊的意义。此次毕业创作中我把小城的风景定为创作内容,将场景中的人物去掉,描绘了一系列空无一人颇具神秘意味的城市风景。本文首先简单论述
学位
健康权是公民的基本权利,罹患大病对个人及家庭都是巨大的挑战和冲击。因病致贫、因病返贫的现象屡见不鲜。我国虽然建有医疗保障制度,但还存在着保障水平低、保障范围有限等问题。社会工作如何在新的“生理-心理-社会”医学模式下嵌入到医疗系统中去,发挥医务社会工作者在贫困患者救助中的角色价值,实现贫困患者对医务社会工作的角色期待,探索符合中国实际国情的医务社会工作发展模式。这既是时代交于医务社会工作的责任,也
学位
景观格局的变化引起生物多样性的变化,景观破碎化程度的变化给植物物种多样性带来了影响。为了研究上海市崇明岛的植物物种多样性变化和人为干扰下景观格局变化之间的关系,选用2009和2018年崇明岛野外植物调查数据,分析了2009年和2018年崇明岛调查样点植物组成和物种多样性情况;同时选取七个反映景观破碎度、多样性、规则度和聚散性的景观指数分析崇明岛的景观要素和景观格局的动态和空间变化特征;最后运用相关
有理数的乘法是初中数学代数部分的重要内容,有理数乘法法则中的“异号得负”“同号得正(负负得正)”符号法则是初一学生数学运算的基础,我国的基础教育改革越来越强调教师要理解的教,学生要理解的学。因此本文采取文献研究法、问卷调查法、访谈法,调查研究了内蒙古自治区初一学生对有理数乘法法则的理解水平,并分析处于该水平的原因。通过调查数据和访谈结果得出如下结论:第一,内蒙古自治区的初一学生对有理数乘法法则的理
学位