论文部分内容阅读
随着以互联网、大数据和深度学习为标志的海量信息时代的到来,如何从这些文本数据中挖掘出大量的有用信息是当前热门的研究课题,具有非常重要的研究意义以及应用价值。因此,针对这些文本信息的文本挖掘技术受到人们的广泛关注。而文本分类技术是文本挖掘的一个核心的研究任务,一直备受学术界和工业界的关注。自2006年第一次提出深度学习概念以来,深度学习技术陆续在图像识别、语音识别、机器翻译等领域中取得了重大的突破,极大地促进了人工智能的发展。相比较于传统的机器学习算法,深度学习技术具有更加出色的效果。其中,卷积神经网络作为深度学习技术的典型代表,已经被证明在图像分类、图像识别领域中十分有效。本文尝试探索利用卷积神经网络对文本特征进行提取,因此,本文主要做了以下几项工作:(1)本文主要深入研究了几种常见的文本分类任务中文本表示学习方法。首先,介绍了几种语言模型,如Bengio等人的神经概率语言模型(Neural Probability Language Model)、Collobert和Weston的C&W模型,Mikolov等人的BOW与Skip-Gram模型等,并比较了几种模型在两种常见的任务上的表现。词向量作为语言模型的副产物,通过对比实验发现,Skip-Gram模型生成的词向量更加适合本文设计的层级卷积神经网络文本分类模型。(2)本文设计了一种层级卷积神经网络模型来完成文本分类任务。分类任务中的文本数据常常具有层级关系,如一个句子由多个字组成,一个段落由多个句子组成,一篇文章由多个段落组成,这种层级关系在许多文本数据中常常存在。因此,为了更好地提取出这种层级特征,本文设计了一种层级结构的卷积神经网络分类模型,该模型能够很好地提取出这种层级特征,从而能够丰富特征空间。与传统的卷积神经网络分类模型、基于LSTM网络的分类模型的对比实验证明了本文设计的层级结构的卷积神经网络分类模型具有更好的性能,分类效果更好。