论文部分内容阅读
自动生成技术的目的是通过算法模型从源文本中炼出简练易读的摘要,以便实现从海量的文本数据中快速的获取到所需要的信息。文本摘要自动生成是一个比较难且具有挑战性的工作,目前针对长文本的摘要自动生成还没有公认的较好的方法。出于自注意力机制对序列中数据的长距离依赖关系的良好建模能力,以及可并行计算的特性,本文主要研究使用自注意力构建神经网络,并用于文本摘要自动生成任务中进行实验验证。本文的主要研究内容如下:(1)本文出了基于自注意力机制的LSAN(Lightweight Self-Attention Network)网络,这个网络的特点是网络的编码器和解码器分别只使用一个多头自注意力模块多次计算以进行编码和解码。该网络的主要优势是使用自注意力机制能够有效建立序列中元素的长距离依赖关系,并且网络可实现并行计算。另外,该网络的编码器和解码器中的内部自注意力模块之间权重共享,相较于其他自注意力神经网络,这个网络需要训练的参数更少,对计算资源要求更低。经过实验验证,LSAN网络相比于LSTM(Long Short-Term Memory)网络升了2.29个ROUGE-L分数,升了8.7%,并且网络具备可并行计算能力。(2)针对LSAN网络对输入序列中元素的顺序特征取不充分问题,本文出了LSAN-RPR(Lightweight Self-Attention Network with Relative Position Representation)网络,这个网络使用嵌入了序列中元素间的相对位置表示的自注意力,嵌入序列中元素的相对位置表示能够增强模型对序列中元素的顺序特征的取能力。实验结果表明,LSAN-RPR网络相比于LSAN网络升了1.2个ROUGE-L分数,进一步升了4.2%。(3)针对LSAN-RPR网络在用于文本摘要自动生成时无法处理词表中的未登录词无法生成问题,本文出了LPSAN(Lightweight Pointer Self-Attention Network)网络,这个网络在LSAN-RPR网络的基础上添加了一层注意力层。当网络的解码器解码出未登录词时,LPSAN网络能够根据这层注意力计算的结果从源输入文本中拷贝词作为生成结果。实验结果表明,本文出的LPSAN网络与其他新的网络相比是有效果升的,并且LPSAN网络的优势是具备并行化计算能力,模型训练效率更高。