论文部分内容阅读
中文分词是众多自然语言处理任务的基本工作。该文提出了一个用双层模型进行中文分词的方法。首先在低层利用前向最大匹配算法（FMM）进行粗分词，并将切分结果传至高层；在高层利用CRFs对文本重新进行标注，其中低层的识别结果作为CRFs的一项特征，最后将对每个字的标注结果转换为相应的分词结果。，跟以前单独利用CRF进行分词的模型相比．低层模型的加入对CRFs模型的标注起到了重要的辅助作用。在北京大学标注的1998年1月份的人民日报语料上进行了大量的实验，取得了精确率93．31％，召回车92．75％的切分结果，证明