自然语言处理(NLP)是语言学和人工智能的一个交叉域,它研究人类自然语言的自动化产生和理解的问题,对于汉语来说,它涉及自动分词、词法分析、语法分析和语义分析等。其中,自动分词是语言处理其它方面的关键和前提。特别是随着中国计算机科学的发展,中文自动分词已经成为一项基础性课题。很多机构如公司、院校都成立了专门的研究部门,希望在中文自动分词技术有所突破。目前分词算法大概有几十种,可以归纳为三类：基于字符串匹配的机械分词、基于概率论和信息论的统计分词和基于理解的分词方法。由于中文自身的复杂性,中文自动分词有两个难点很难解决——歧义识别和未登录词识别。解决某一个难点已经成为评价一个分词系统好坏的重要标志之一。其它重要标志还包括分词准确率、召回率、分词速度等。 本文开始介绍了机械分词技术、统计分词技术。然后,提出并实现了一个基于后缀数组和句子字词表的分词方法。后缀数组是信息检索领域的通用高效技术,本文系统利用SAI_,M模型得到高频词条,经减枝后,用Berkeley DB把它们组织成一个分词词典。分词算法在利用句子字词表进行分词的同时,还能发现歧义,歧义句子采用最大句频原则进行切分。实验结果表明,本文系统的分词速度能达到50kb/s,分词准确率达到90％,值得进一步的研究。 本文最后总结了全文内容,并分析了本文系统存在的问题,提出了改进方法。