中文分词是机器学习,自然语言处理中的一个基础部分,中文分词处理要对输入的中文语句在字、词、句三个层面上进行处理。在中文中,词是最小的语言单位,只有处理好中文分词的问题,才能更好地进一步处理中文语句,所以中文分词是中文处理技术的基础。相对于英文,中文分词是一个相对复杂的问题。由于英文中词与词之间是用空格隔开,检索方便,也就不存在分词的问题。而中文语句没有分隔符,因此想进行中文处理,就需要专门的技术,这种技术也就是中文分词。随着自然语言处理的发展,中文分词技术也得到了很大的进步。出现了众多的算法。根据它们的特点,可以将现有的分词算法分为四大类:基于字符串匹配的分词方法、基于理解的分词方法、基于统计的分词方法和基于语义的分词方法。因为每种方法都有各自的优点和劣势,所以目前单一使用一种方法并不能达到让人满意的效果,而将其中的两三种方法结合起来,优势互补,相对来讲会得到更好的分词结果。本文在总结前人工作基础上,完成并实现了一个中文分词系统,中文粗分词模块采用的是基于统计的N-最短路径算法,即在早期召回N个最佳结果作为候选集,目的是覆盖尽可能多的歧义字段。在中文人名识别模块,加入了基于Trie树的快速人名识别,然后通过一种改进了的基于角色标注的人名算法识别出未登录词中文人名。实验证明,该方法具有较好性能和实用性。