基于神经网络的句子排序研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:jansan77
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
建模篇章连贯性是自然语言处理中的基础问题,对很多下游任务有着重要的作用,比如自动摘要,问答和文本规划。句子排序为篇章连贯性建模中的一个有挑战性的子任务,它的目的是将输入的句子集合重新组成一段更连贯的篇章。通过学习如何为输入的句子排序,模型能够学习构成文本连贯性的元素如逻辑连贯性,主题相关性和因果效应等。近期随着深度学习的发展,基于神经网络的句子排序模型取得了更优异的性能,尤其是基于编码器解码器的端到端模型已成为句子排序任务的主流框架。本文从编码器和解码器两个方面改进神经网络句子排序模型。在编码器方面,本文提出了基于句子实体图的篇章编码器。句子实体图是一种篇章的图结构表示形式,图中包含句子和实体两种节点,能够反映基于实体的连贯性。基于此图结构,本文引入并改进了图循环神经网络来建模图表示。进一步地,本文提出了使用外部词汇知识来丰富句子实体图结构。在解码器方面,由于指针网络从左到右的解码机制,它只能利用左侧的有噪声的历史上下文。因此,本文使用句对顺序预测作为解码器上下文的补充,设计了两个模块分别建模局部连贯性和估计未排序句子的相对顺序信息。在多个常用的句子排序数据集上,本文提出的模型显著超过了其他基线,表明了方法的有效性和优越性。本文也在下游任务多文档摘要上评估了提出的模型,通过本文提出方法重排序后的摘要能够取得更高的连贯性分数。
其他文献
容器技术因其使用便捷和高性能的特点被开发人员和组织广泛使用。但是,与虚拟机不同的是,不同容器之间共享同一主机操作系统内核,这使得容器的隔离性更弱。尽管操作系统提供了严格的软件隔离机制,例如Namespaces,试图解决这一问题,但是,恶意的租户仍然可以通过系统调用访问内核,并利用内核漏洞绕过这些隔离机制。同时,随着内核代码不断更新,内核功能也不断增加,而绝大多数应用程序在工作时只需要使用部分内核功
建筑业是我国国民经济的支柱产业之一,在我国经济快速发展的背景下,我国建筑业的发展正面临着新的机遇与挑战。2017年国务院办公厅印发《关于促进建筑业持续健康发展的意见》,同年住建部印发《建筑业发展“十三五”规划》,文件都指出固定资产的投资建设是经济建设的重要任务之一,未来五年,我国建筑业要完成总产值年均增长7%的目标,固定资产投资增速将给建筑业带来广阔的前景。然而,应对建筑市场、建筑行业以及建筑企业
计算机以及互联网的发展改变了人们的生产和生活方式,很多传统领域的工作可以借助计算机来提高工作效率。例如在教育领域的程序项目实验类课程中,依靠人工方式审核学生提交的程序作业的方法非常低效,很难发现可能存在的代码抄袭,因此设计并实现检测抄袭的学生实验源码查重系统具有重要的意义。在程序项目实验类课程作业的查重场景中,项目工程作业一般提供包含基础模块的框架,其余多个模块以小组分工的形式共同开发。对项目工程
在可持续发展及绿色制造的战略背景下,高速干切滚齿作为一种绿色环保的高效齿轮加工工艺,已在齿轮制造业中占据重要地位。该工艺在切削加工过程中无切削液且切削速度高,不合适的工艺参数将严重影响加工能耗、质量以及刀具使用寿命等。对工艺参数进行优化决策,实现高速干切滚齿加工过程综合最优,对齿轮制造业转型升级以及实现可持续发展有着重要意义。为此,本文针对数据驱动的高速干切滚齿工艺参数优化决策系统进行了研究。首先
富勒烯是一类具有π共轭结构的零维球形分子,在有机光伏、能量储存、生物医药和催化等领域有着潜在的应用价值。富勒烯分子进行自组装或与其它π共轭分子共组装,得到具有特定形貌、尺寸和高结晶性的微纳米结构,能够改进富勒烯的性质,对实现其实际应用具有重要意义。金属卟啉具有氧还原电催化活性,而且可以通过分子间的π-π相互作用力与富勒烯形成超分子结构,与卟啉形成复合结构有望拓宽富勒烯在电催化领域的应用前景。因此对
本论文涉及一种运行在通用多核处理器上的卫星图像实时解压缩软件的并行优化技术。解压缩软件接收下传压缩码流数据,实时完成码流帧解析、解码、存储与显示等图像重建任务。其中,解码环节涉及计算密集、访存频繁的数据处理,传统串行实现方式耗时长,成为制约解压缩重建实时性的瓶颈。本文充分利用多核处理器并行处理优势,从码流帧并行、数据块并行两个方面对解压缩软件进行并行优化,具体内容如下:针对解码环节耗时长导致的解压
花岗岩残积土广泛分布于我国潮湿多雨的东南地区,该地区工业规模较大使其经常遭受酸雨污染影响。长时间的酸雨作用会使岩土体力学性质发生改变,易发生滑坡、地基破坏变形等工程事故。但是少有试验研究酸雨作用对花岗岩残积土力学性质的影响。本文选取广东省播植镇花岗岩残积土作为试验样本,对土体进行不同方式的酸处理,利用原子光谱分析法检测金属离子溶解情况,并对酸污染土样进行崩解试验、渗透试验、三轴剪切试验,多方位探讨
随着大数据时代的到来,低成本保存超大规模的冷数据成为了重要挑战。光存储成本低、寿命长、绿色节能且易于保存,非常适合大规模冷数据长期存储。同轴全息光存储利用全息复用的方式存储数据,能够大幅度提升存储密度,而且使用二维数据页方式存取数据,为了使主机能够达到1GB/s级别的数据读写吞吐率,因此需要设计高速的全息存储数据通道。针对全息存储高速存取需求,设计全息存储数据通道框架,目前采用服务器主机作为同轴全
随着人工智能技术的飞速发展,无人驾驶技术作为一种社会生活智能化的重要应用,正在逐步从理论走向现实。其中,三维目标检测为无人驾驶提供了基础的环境感知与三维场景理解,为后续的机器行为决策与路径规划奠定了基础。作为二维目标检测的衍生任务,三维目标检测需要为每一个对象在相机坐标系下的最小外接立方体进行推测,其属性包括中心位置定位、立方体尺寸以及偏航角。尽管基于视觉的三维目标检测已经取得了巨大的进展,对昂贵
大数据时代,互联网上的信息与日俱增,人们对于信息的获取也提出了更高要求。在军事指挥数字化,军事装备现代化进程不断推进的背景之下,如何对军事信息进行有效的提炼、管理和利用,对于提高军事知识的应用以及军事资源的利用效率研究具有重大意义。因此,本课题以军事装备领域作为研究切入点,基于知识图谱技术构建了一个军事装备智能问答系统。本课题的主要工作包括:(1)采集并解析军事武器网站的半结构化数据,构建军事装备