一种基于字和子串联合标注的汉语分词方法

来源 :山西大学学报:自然科学版 | 被引量 : 0次 | 上传用户:yangjianglong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.
其他文献
指出了森林火灾因危害性大而又难以扑救,成为森林三大自然灾害之首。建设生物防火林带,是减少森林火灾、保护动植物资源和人类生命及财产安全的重要举措。阐述了油茶生物学特性
5月6日15时10分,我国在酒泉卫星发射中心用“长征二号丁”运载火箭,成功发射“天绘一号02星”,卫星顺利进入预定轨道。  这是火箭升空瞬间  “天绘一号02星”由中国航天科技集团公司所属航天东方红卫星有限公司研制,主要用于科学研究、国土资源普查、地图测绘等诸多领域的科学试验任务。卫星获取的遥感信息和试验结果,将对我国科学研究和国民经济建设起到积极作用。  “长征二号丁”运载火箭由中国航天科技集团
学习环境的优劣对一名中小学生的学习有着极其重要的影响.而农村中小学生的家长受自身素质,时间、精力等限制,对孩子的监管较城市的家长要松得多,因此农村中小学生的学习环境对其
中国大洋协会成立20周年十大事件评选结果日前揭晓。  此次评选活动自2011年9月正式启动,评审专家在综合网友投票的基础上,以投票的形式最终确定了十大事件入围名单。以下为最终评选出的十大事件:  1.中国大洋协会成立并登记为国际海底先驱投资者  1991年4月,经国务院批准,中国大洋协会宣告成立。这是中国适应国际海底区域新的形势和发展要求,为在国际海底区域活动争得先机作出的战略性抉择。国家赋予中国