基于句法和语义的句子表示方法

来源 :湖南大学 | 被引量 : 0次 | 上传用户:lili00789563241
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句子相似度建模是许多自然语言处理应用的核心,因此备受关注。由于语言表达的模糊性和可变性,测量句子相似性具有挑战性,近年来也受到了很多关注。以前大量的工作集中在特征工程上,并且已经证明几种类型的稀疏特征是有用的。最近,由于词嵌入的成功,研究人员试图通过句子嵌入来研究句子相似性建模。这一类中的大多数方法专注于学习句子的语义信息并将其建模为连续向量,然而句子的句法信息尚未被充分利用。另一方面,先前的工作已经显示了包含句法信息的结构树的优势,而该分支中很少有方法利用了词嵌入的优点和另一种强大的技术—注意力权重机制。受以上观察的启发,本论文试图吸收上述技术的优点,并开发出更有效的方法。简而言之,本论文提出了ACV-tree模型,该模型使用结构化方式进行句子相似度建模。它无缝集成了语义信息,句法信息和注意力权重机制。为了测量相似性,本论文开发了一种新的树核,称为ACVT核函数,它是为本论文提出的结构量身定制的,旨在实现高可操作性。ACV-tree模型可以用作一般框架,因为可以将词嵌入和注意力权重机制视为框架的构建块,允许使用其它现成的(或更强大的,将来开发的)词嵌入技术或者注意力权重方案替换。此外,与大多数基于句子嵌入的模型不同,一旦词嵌入提供,ACV-tree模型就可以免于耗时的学习/训练。另一方面,还存在基于词嵌入的句子相似性建模模型。然而,与基于词嵌入的模型相比,ACV-tree模型可以在本论文实验中使用的几乎所有数据集上取得更好的性能。为了验证提出模型的效果,本论文采用了来自于国际语义评测SemEeval大赛语义文本相似度(Semantic Textual Similarity,简称STS)任务一共19个数据集。每个数据集包含许多对句子。这些数据集涵盖了广泛的领域,例如新闻数据集,网络论坛数据集,图像数据集,推特数据集等。基于这19个广泛使用的STS数据集的实验结果表明,与最先进的模型相比,ACV-tree模型是有效且具有竞争力的。此外,本论文通过使用各种注意力权重机制和词嵌入技术来研究ACV-tree模型的普遍性。具体来说,本论文已经探索了许多基于词嵌入,注意力权重机制以及句法的变体方法。实验结果验证了多种注意权重机制和词嵌入技术可以无缝集成到ACV-tree模型中,展示了ACV-tree模型的鲁棒性和通用性。
其他文献
城市地铁盾构隧道施工时,盾构机进洞(始发)和出洞(到达)工序复杂且施工上具有一定的危险,和盾构隧道区间开挖相比,它的施工过程非常重要。由于盾构机在进出洞施工过程中各个
在我国汽车产品日益丰富的情况下,如何满足不同消费者的审美需求,从而获得更多的市场份额,已成为汽车制造商不得不面临的紧迫问题。轮毂作为汽车的主要零部件,其造型是整车外观设计的重要内容,要求在符合工程技术要求的前提下,满足消费者的多样化审美需求。技术美学是将技术与美学相融合、协调统一的实用美学。工业产品的造型设计与生产制造过程中,在技术参数与加工工艺等多重约束条件下,运用技术美学可使产品具有良好的实用
薄带连铸技术是21世纪钢铁领域的重要前沿技术,具有流程短、能耗低、凝固组织细小、成分偏析轻等特点。但是,薄带连铸低碳钢带材的奥氏体组织与传统热轧板相比晶粒比较粗大。
为了提高刀具的切削性能和使用寿命,当前刃口钝化技术被不断重视,常见的刃口钝化形貌主要有圆弧型刃口、瀑布型刃口及倒棱型刃口等。圆弧型刃口的处理方法已得到广泛的应用,
防波堤是港口工程中的重要设施,其作用是保护港口的水域不受波浪的侵袭或减小波浪的作用。台风浪对防波堤起到了很大的破坏作用,往往使得防波堤遭受严重的破坏,而且破坏的方式多种多样,也给破坏后所要进行的修复工作带来一定的困难。本文以沿海某电厂防波堤在“山竹”台风浪作用下破坏为研究背景,总结了国内外学者对防波堤的研究内容,归纳了研究成果和其中的不足。某电厂防波堤采用的是直立式防波堤与斜坡式防波堤相结合的方式
奇异摄动问题在科学技术和工程领域均有广泛应用,包括多孔介质的渗流问题,河网水质问题,金融模型中的Black-Scholes模型等。这些问题中对于小摄动参数ε引起的边界附近出现的
东北是我国重要的春玉米主产区,辽北地区地处东北南部的松辽平原,这一地区气候条件有利于玉米生长发育,是辽宁省玉米主产区。为了探究耕作栽培措施对该地区玉米产量和资源利用效率的影响,连续三年(20172019年)在辽宁铁岭县开展田间玉米栽培模式大区对比试验,玉米品种选用“先玉335”和“郑单958”,设置不施肥旋耕等行距(T1)、一次性施肥旋耕等行距(T2)、秸秆还田+氮肥分期翻耕等行距(T3)和有机肥
植物多样性是植物与其他有机体及其生存环境之间长期相互作用下形成的生物系统以及与此相关的各类生态过程。植物物种多样性和功能性状多样性的综合研究有助于更好地解析植物
群落构建作为生态学的一个核心问题,对于理解物种共存机理和生物多样性维持机制具有重要作用。不少生态学者致力于揭示群落构建机制,开展了大量的研究工作,探索不同的生态过
本文系统研究了稀土(Gd3+、Tb3+、Eu3+)掺杂磷酸三钙(TCP)的结构、发光及水化性能。运用高温固相法结合空冷和炉冷两种冷却方式合成了不同浓度Gd3+、Tb3+和Eu3+离子掺杂的磷