论文部分内容阅读
语句匹配是自然语言理解中的一个核心问题,因此语句匹配的研究可以应用到大量已知的自然语言处理任务中,例如信息检索、自动问答、机器翻译、对话系统、释义识别等。这些自然语言处理的任务都可以在一定程度上抽象成文本匹配问题,比如信息检索可以归结为查询项和文档的匹配,自动回答可以归结为问题和候选答案的匹配,机器翻译可以归结为两种语言间的匹配,对话系统可以归结为前一句对话和回复的匹配,复述问题则可以归结为两个同义词句的匹配。在一系列的自然语言处理任务中,都需要依靠文本语句匹配模型的参与和协作。文本语句匹配模型的性能,会很大程度影响这些自然语言处理任务的最终表现。本文研究基于多视角特征融合的文本语句匹配模型,主要做了以下三部分的工作:(1)从词语交互的视角改进匹配模型,提出基于方面级情感差异分布的注意力机制,并且结合多轮决策机制来实现多轮次的词语交互匹配。首先,本文提出了基于方面级情感差异分布的注意力机制来改进跨句词语之间的交互,并且利用情感空间位置感知向量来改进句内词语的交互,使得模型在句内词语交互和跨句词语交互的过程中具备了语句主观情感差异的感知能力。然后,本文引入了基于记忆状态累积的多轮决策机制,通过迭代更新工作记忆状态来多轮次地进行匹配决策,使得模型能够更好地理解复杂句子的语义。(2)从语句表征的视角改进匹配模型,结合句法图卷积和自注意力机制构建语句表征。本文利用自注意力机制来抽取句子的语义信息,通过多维度的特征提取来获得高质量的句子表征。此外,为了解决自注意力机制对于词语位置信息编码能力弱的问题,本文结合句法图卷积来改进位置编码机制,在句子表征构建的过程中引入了结构化的位置信息。(3)将词语交互和语句表征的思路相结合,融合多视角的特征来共同实现语句匹配。基于词语交互的匹配模型的缺点是对于全局的特征捕捉能力弱,可能会损失一些整体的语句特征信息。基于语句表征的匹配模型的缺点是对于局部词语的语义感知能力弱,容易忽略一些重要词语之间的对应关系。针对这些缺点,本文将结合上述两类匹配模型的优势,将词语交互和语句表征的方法相互结合,融合词语的细粒度特征和语句的粗粒度特征,多视角联合共同实现语句的匹配。使模型既能够感知词语之间的交互,捕捉到局部的语义特征,又能够从全局的角度理解句子的整体语义,从而获得更好的匹配结果。