后验概率正则化在远程监督关系抽取算法中的应用研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lishicun2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系抽取是计算机科学自然语言处理中的重要任务,它能为诸多下游任务,如问答,知识图谱构建提供服务。由于关系抽取模型的构建需要海量的,获取代价高昂的训练数据,这使得远程监督下的关系抽取成为当下的研究热点。针对远程监督的噪音数据问题和当下远程监督关系抽取主流的基于选择性注意力的模型导致的多样性抑制问题,我们利用后验概率正则化框架引入关系类别的专家知识,提出了两种相应的解决方法缓解这两大问题:(1)我们利用后验概率正则化框架,将人类专家在关系抽取领域的经验知识融入样本选择策略中,提出基于规则的样本选择策略,提升样本选择策略的训练效率,减少了策略梯度方法训练过程中所需要的无意义探索,并且提升了样本选择策略的表现,通过此方法选择的样本集合上训练的关系抽取模型也在领域内的权威公开数据集取得了当前最先进水平。由于基于规则的选择策略能够动态的判断每个数据包内保留哪些样本,因此能通过保留的样本数量来实现对数据包质量的评判。(2)我们分析了之前的关于远程监督关系抽取的研究工作的特点以及局限性,提出了之前研究工作导致的多样性抑制问题。针对该问题,我们提出全新的算法框架,利用聚类算法动态构造数据包,并且结合关系类别的专家知识提出两个可信度因子对聚类数据包的可信度做评估,同时使用后验概率正则化框架约束后验概率和损失函数,在丰富数据包多样性的同时,也减少了噪音数据对模型训练的干扰。在实验部分,我们构造了新的句子级别关系抽取的评测数据集。我们设计了证明性实验证明了多样性抑制问题的普遍存在,并且对比我们本章中提出的方法和之前在句子级别关系抽取任务上较有影响力的研究工作的主要性能指标。在我们构造的新句子级别关系抽取评测数据集和已有的公开权威数据集上,我们提出的方法大部分指标均取得了当前最先进水平。描述本文提出的基于规则的样本选择策略的论文被自然语言处理领域顶级会议NAACL 2019录用,基于本文的算法的关系抽取系统在美国国家标准与技术研究院文本分析会议举办的药物相互关系抽取比赛中取得第一名的成绩。
其他文献
可降解木塑复合材料(WPC)在发挥传统WPC优势的同时,可有效缓解塑料对环境的污染。对其开展保温功能性研究,在顺应我国可持续发展战略要求的同时,对于降低材料生产成本,拓宽应
在全球环境污染日益严重以及森林资源日渐枯竭的形势下,木橡塑三元复合材料(WRPC)可将废旧橡塑和劣质木质资源合理利用起来,在降低废旧高分子材料对环境污染的同时,最大限度
柴达木盆地位于青藏高原东北缘,是高原内部最大的中-新生代陆相含油气盆地。其腹部一里坪地区古近系见良好的油气显示,但限于该区古近系埋藏深度大,勘探程度较低,仍未取得工
自工业革命以来,化石燃料成为全球能源供应的主体,人类对能源的需求日益增加,造成二氧化碳的过量排放,严重制约着人类社会的可持续发展。探索高选择性地、低成本地将这种廉价
二氧化碳(CO2),既是主要的温室气体,同时也是一种廉价的碳资源。将CO2转化为高附加值化学品会极大地造福于人类的生产生活。不同于传统的热催化方法,介质阻挡放电(DBD)等离子体与
本文从不同的女权主义理论开始,探讨意识和身体由不同顺序而产生的不同的“主体模型”,在讨论中,我们借用中国古代“风水”的概念来诠释一种新的模型,并以此来描绘在这种思考下意识与身体的关系。在“风水身体”中,两者不再是线性时间下的因果关系,而是由于同一力量作用下相互生成的共生关系。在这种身体观之后,我们借助德勒兹的生成理论来阐述两个主体间的生成关系,也因此讨论了同一种力量是如何产生在不同的躯体间的,以及
随着智能化建设发展的推动,无线传感器网络(Wireless Sensor Network,WSN)在军事、医疗健康、环境科学、智能家居等领域有着更广阔的应用前景,这也对WSN性能提出更高要求。由于其自身具有动态性、能量有限、环境复杂等特点,长期处于监测状态的传感器节点容易死亡或受损,导致监测数据失真。这对提供高质量服务的WSN是一个较大的挑战,而及时检测出网络故障节点是确保网络可靠性的重要前提。节
调节阀(Control Valve)是一种在管道运输、石油化工、水电核电等工业过程中广泛应用的重要控制元件,它的好坏直接决定着整个系统控制过程是否及时有效。迷宫式调节阀(Labyrin
与传统的原始未加密图像压缩方案相似,最近提出的先加密后压缩方案尽可能利用载体信号的统计特性,以提高压缩效率和重构性能。当前针对加密图像的压缩方案,大部分算法都是在
词汇是语言的基本构成材料,是语言学习的基础。英语是中国学生从小学直到大学的必修课程,掌握有效的英语单词记忆方法才能更有效地学好英语,提升英语水平。但是在实际的英语