论文部分内容阅读
近年来,随着人工智能技术的不断发展,人机对话系统受到广泛的关注。口语理解是人机对话系统中的一部分,而且至关重要,目的是让机器理解用户的具体需求从而给出合理的答复。为了明确用户表达的意图需求,意图识别是口语理解中的关键子任务,同时意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人与机器的频繁交互以及用户表达的多样性,用户话语中有时不仅仅包含一种意图,而是含有多种意图,所以意图识别任务可以分为单意图识别和多意图识别两个任务。本文通过分析传统的机器学习方法和深度学习方法在单意图识别任务和多意图识别任务上的研究,进一步思考如何将深度学习模型合理地运用到意图识别任务中。胶囊网络中的胶囊含有丰富的特征信息,动态路由可以动态学习神经网络层之间的关系,不仅可以保留出现概率较小的语义特征,而且具有很好地拟合特征的能力,适用于小型数据集。因此,本文主要采用胶囊网络分别在单意图识别任务和多意图识别任务上进行研究,具体工作如下:(1)针对卷积神经网络中的池化操作不能完全利用句子中的所有特征信息这一问题,本文采用胶囊网络解决这一问题并将其应用于单意图文本中,通过使用动态路由算法合理地将意图文本中的所有特征信息动态分配到意图胶囊中,从而完成单意图识别任务。并将其与传统的机器学习方法和各种深度学习方法在单意图识别任务上进行性能结果对比,进一步证明了胶囊网络的优势。(2)考虑到用户多意图表达数据稀缺的问题,本文分别收集了基于单意图标签的中文和英文多意图测试集,并且构造基于单意图标记的多意图分类器进行多意图识别,同时将胶囊网络用于多意图识别任务。一方面,为了保证意图文本的特征质量,本文提出在胶囊网络中增加卷积胶囊层提取意图文本的深层次语义信息,并且利用胶囊网络中的动态路由算法将高层特征胶囊动态分配到意图胶囊类别中,通过设置阈值大小判别多种意图存在的概率,从而提升多意图识别的准确性;另一方面,在增加卷积胶囊层的基础上,本文提出使用三种不同的卷积核提取句子中不同词组搭配的语义信息,探究不同卷积核对多意图识别性能结果的影响程度,实验证明ngram值为3时可以得到更好的多意图分类性能。多意图识别性能的提升有助于口语理解的研究和对话系统的构建。