应用于中文文本摘要的序列到序列模型的改进与研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:as16188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的到来,让网络新闻、社交评论等文本数据爆发式增长,为了吸引更多的用户观看,出现一批“标题党”。故意渲染夸大的标题与内容严重不符,误导欺骗读者,增加了其获取关键信息的时间成本。因此,将内容浓缩,让大段文章生成言简意赅的摘要,成为具有挑战性的研究任务。随着深度学习技术的发展,文本摘要生成研究也借助深度神经网络模型有了突破性的进展。目前主要的研究大都基于序列到序列模型,但这种模型仍存在以下不足:(1)需要大量标注数据,数据获取成本高;(2)模型简单,编码器难以掌握全局的语义信息;(3)文本转化为词向量输入模型,单词之间相对孤立,难以提取文本的局部特征。本文首先对基于序列到序列模型的中文文本摘要任务进行了一些基础实验,包括探究分词方式和几种不同词向量对模型的影响,再在此基础上对上述存在的问题进行了相应改进。对于问题(1),本文研究了几种自然语言处理任务相关的数据增强算法,并提出一种适用于文本摘要生成任务的非核心词简易数据增强方法(Non-Core Word Easy Data Augmentation,NCW-EDA),并与回译法进行了对比实验。在数据样本不足的情况下,通过NCW-EDA方法对数据进行扩增后,摘要生成的效果有较大提升,与在完整数据集上训练的模型达到的效果相近,能够有效缓解数据不足对模型带来的影响。对于问题(2),为了加强编码器对全局语义信息的掌握,本文尝试了两种不同的方法。首先是提出了一种预编码器结构。在编码器进行编码前,用类似结构的预编码器对原始文本进行一次预编码,获取原始文本的大体语义信息,提升编码器对全局语义信息的掌控能力。另外提出了一种自编码器结构,通过在训练阶段添加一个自编码器将真实摘要进行编码,将摘要的编码向量和原始文本的编码向量的相似度作为一个目标函数加入最终的目标函数中,使编码器能够通过去逼近真实摘要来加强获取关键信息的能力。对于问题(3),本文分别对词向量和编码器的隐藏状态向量加入一层范围卷积层,建立单词或字之间的局部联系,使得每个向量不仅能够表示当前位置词的信息,还能获取一部分邻近词的信息,能够更好地提取文本的语义特征。最后通过组合上述几种改进模块得到的最优组合模型在LCSTS(Large Scale Chinese Short Text Summarization)数据集上与对比模型中分数最高的模型相比,在ROUGE-1、ROUGE-2和ROUGE-L三项评价指标上分别提高了7.59%、12.02%和7.54%。
其他文献
“常理”是社会大众所认同的通常的道理。从古至今,常理一直潜移默化地发挥着作用,影响着平民百姓的日常生活,也影响着司法裁判的过程和结果。实际上,国家法律实践的全过程,
近年来,随着中国国际化的程度和人民生活水平的不断提升,国际进、出口贸易和交流愈加密切、愈加频繁,包括国家对外开放的政策红利不断释放使得国际快递业务需求不断增长。F快
随着城市化进程的发展,有效利用各种资源,保障人民群众的居住问题,完善各类房屋的使用功能,已经成为各级政府关心和重视的问题。直管公房属于国有资产,在当时的历史环境下建
教育出版是出版产业的重要组成部分,而智慧教育则是带动我国教育发展的关键。在智慧教育的发展实践所形成的各类平台也各有特色和优势,在信息冗杂的现代社会中,教育资源也随
日益增长的能源需求和有限的化石能源储备,以及逐渐严重的生态问题,使得开发清洁可再生能源备受关注。在目前发现和开发的众多可持续能源中,太阳能、风能和潮汐能虽然储量丰
近半个世纪以来,种间H2/甲酸转移被认为是微生物间电子传递的主要途径。然而,近年来研究发现某些电活性微生物与产甲烷菌之间存在可替代种间H2/甲酸转移以实现电子传递的种间
2007年,中国首次超越美国成为了全球碳排放量最大的国家。自此中国严峻的大气污染问题便引起了国际媒体的高度关注。本着负责任大国的原则,2015年中国提出了要在2030年达到本
目的:本研究采用隔姜灸合越婢汤加味与越婢汤加味两种治疗方案治疗原发性遗尿症肺郁脑闭证,初步观察其疗效性及安全性指标。方法:将2017年11月至2018年12月成都中医药大学附属医院儿科就诊的符合纳入标准的5-14岁原发性遗尿症患儿72例,用SAS随机平均分为试验组和对照组,治疗组采用隔姜灸加越婢汤加味治疗,对照组仅用越婢汤加味治疗。试验疗程8周,分别于第2、4、6、8周随访,分析其疗效及安全性。用
人力资源作为企业未来发展的关键资源之一,使得越来越多的公司管理者开始采用KPI这种较为流行的绩效管理方法,保险公司也不例外。保险行业未来发展势头较好,大多数保险公司面
农业是国家生存与发展的基石,农业保险是防范农业生产风险的有效手段,农业保险法律制度是农业保险地位合法性与内容科学性的源头。在全面推进依法治国的大背景下,法律成为一