基于自注意力和问题分解的机器阅读理解方法研究

来源 :武汉科技大学 | 被引量 : 0次 | 上传用户:a553892340
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域的一颗明珠,同时也是该领域的研究焦点。机器阅读理解技术可以广泛应用于语音助手、智能客服、聊天机器人等领域。近年来,得益于大数据和深度学习技术的兴起,机器阅读理解获得了广泛的关注。在传统的工作中,主要采用基于规则和基于深度学习的方法。其中,基于深度学习的方法对问题和上下文分别进行编码得到向量表示,然后利用注意力机制使得两者进行交互,最后利用交互的语义信息预测答案的开始和结束位置。
  基于深度学习的方法在机器阅读理解领域取得了一定的突破,但是还有一些问题亟待解决。为了解决无法区分远距离相似答案的问题,本文提出了一种基于自注意力机制的机器阅读理解方法。自注意力机制可以忽略词语之间的距离,直接计算相似答案片段之间的依赖关系,进而捕捉答案片段之间的差异。为了解决阅读理解领域中复杂的多跳问题,本文提出了一种基于问题分解的机器阅读理解方法。该方法首先将多跳问题分解为多个单跳问题,然后利用单跳阅读理解模型对其进行求解。本文将问题分解视作一个阅读理解任务:首先利用证据段落生成查询,然后使用该查询辅助抽取多跳问题中的单跳问题文本片段。阅读理解任务捕捉了多跳问题和证据段落之间的交互语义信息,可以指导多跳问题中单跳问题的抽取。
  基于自注意力机制的机器阅读理解方法在DuReader阅读理解数据集上进行实验,取得了良好的效果,这表明基于自注意力的方法是有效的。基于问题分解的机器阅读理解方法在莱斯杯阅读理解数据集上取得了较高的得分,实验结果表明基于问题分解的方法能够解决复杂多跳问题。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位