论文部分内容阅读
限于自然语言的复杂性,传统搜索引擎中基于关键词查询的方法,难以满足用户对确切问题搜索的需求;基于常用问题集的问答系统也无法解决开放域的用户提问。因此面向开放域问答系统的智能搜索成为研究热点,问答系统一般分为三个阶段:意图理解,信息检索得到候选答案,答案排序或挑选答案。作为用户意图理解重要的一部分,问题的正确分类不仅可以减少候选答案的选择空间,而且会在极大程度上影响答案的抽取及生成。由于深度学习方法在自然语言处理中具有无需人工构造特征且善于发现高维数据中的错综复杂的结构等优势,因此本文以深度学习在问题分类任务上的应用作为研究点,设计和实现了基于复合神经网络模型的开放域问题分类方法。主要工作包括:首先,本文调研了深度学习在自然语言处理方面的进展,创新性地设计并实现了复合神经网络用于问题分类。这个深度学习框架的输入有两部分,分别是问题简介以及问题描述的词向量表示,由于问题简介一般篇幅较小且无上下文依赖,本文使用不同粒度的卷积核将其映射到不同的隐藏层之后,再经过池化层得到问题简介的高维特征表示,此外,问题描述一般篇幅较长且具有上下文环境,因此,在使用卷积神经网络提取其局部特征的基础上,通过长短期记忆网络生成问题描述词序序列语义的高维特征表示,最后,连接问题简介及问题描述的高维特征表示,经过分类器将问题分至对应的类别。在Yahoo Answers的数据集上使用该模型进行问题分类,证明了在该任务上,本文构造的模型优于传统的机器学习方法,也比之前已有的神经网络模型有了改进。然后,本文选取文本语义泛化作为对模型的改进,通过研究语义泛化的发展,探究其一般原理以及其在工业上的实现-Probase,扩充现有上下位词库并构造文本语义泛化的替换规则,通过实验验证了其在问题分类任务上的有效性。此外,本文关注该深度学习模型在实际应用中的情况。以Keras为例,描述深度学习模型实现的流程,介绍优化深度学习模型的一些方法,并在公共数据集上测试Keras实现的模型,实验结果显示基于Keras实现的深度学习模型能达到其最佳表现。