论文部分内容阅读
汉语语料库的相关数据已经广泛运用于语言研究、语言教育、人工智能等数个相关领域。随着当代自然语言处理技术以及大数据技术的迅速发展,这些领域的技术研究对汉语相关的分析数据,尤其是专用分析数据如:语法分析数据,语义分析数据,语用分析数据的需求量与日俱增。近几年来,随着计算机的更新迭代,汉语研究的相关算法已经取得了重大突破,汉语句式的分析在精度与准确度上都有了明显得提高。句式结构分析在中文信息处理中有着重要的意义。利用大数据及数据挖掘技术,对汉语句式结构进行分析处理是目前中文信息处理领域里新的视角和切入点,汉语句式库也为该领域研究带来了新的契机。因此,为了将这些海量庞大的汉语文本,集中到一个易处理,易管理,易扩展,易存储的个性化语料分析检索平台上,本文主要进行了如下工作:1、对大量文本数据进行句法分析,提取文本句式结构信息。2、基于依赖关系树结构,对文本句式结构信息进行特征提取,以从信息中提取出句子的主干信息,列出其主干结构。为了简化主干结构的空间复杂度,本文还提出了两种规约方法,对数据进行规约化处理。3、通过上述方法,基于训练文本,开始构建句式结构语料库,简称句式库。4、基于句式库开展一系列应用研究,如基于相似度计算公式计算文本之间的句式相似度,基于句式库分析各类作文的句式结构特征,分析经典长篇小说的常用句式结构特征。5、搭建了一个可扩展,可复用,研究可视化的句式结构分析处理平台。本研究的创新点有:第一、使用云技术将研究重点从文本处理向文本聚类的转变,提高了效率与精度。第二、基于依存语句树的概念结合汉语句式结构的特征对汉语句子进行主干提取,并在原语句树的基础上提出了改进办法。第三、汉语句式结构库的应用研究目前在国内外的相关文献还相对稀少,本文将从数据挖掘的方向探索句式结构的特征。