中文新词检测与分析

被引量 : 0次 | 上传用户:fronj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新词指在进行词法切分时词典中未收录的词。中文新词检测是中文信息处理领域一项关键的技术。由于中文的词与词间无间隔的特点,中文词法切分存在着歧义消除和新词检测两大难题,新词检测技术成为分词性能的瓶颈之一。对人名、地名、机构名等专有新词的研究,已经有了较为成熟的技术,而对于普通新词的检测,尚处在不断探索的阶段。本文在基于词的串频统计基础上,利用语言学的知识把新词检测问题进行分类细化。首先利用熟语料训练得到垃圾串词典、垃圾头词典、垃圾尾词典、词缀字词典以及独立词概率等参数,然后针对不同模式的新词采取不同的垃圾串过滤算法,提高了新词识别的性能。在对400张网页的实验中,我们对频度大于1的新词进行识别,准确率是80.4%,召回率是81.8%。新词的特征包括字面特征、分布特征和语义特征等方面。对新词特征的分析,已有的研究并不多,而新词的特征是认识新词的一条重要途径。本文的新词检测基于大规模的因特网语料,因此可以获取丰富的上下文信息。在此基础上,我们进行了新词特征的挖掘,从串频、互信息和相似度等角度主要对新词的空间分布规律和时间分布规律进行了分析。缩略语关系是新词的语义特征的一种。由于新词中缩略语的现象比较普遍,本文提出了一种自扩展获取缩略语词典的方法。以识别的新词以及之前获取的庞大的短语库为数据基础,利用语言学的知识和无监督学习的方法,得到短语的语言模型、短语到词的对齐模型等参数,以此来度量一组缩略语和源短语对有效的程度,最终得到一部缩略语词典。在对50万张网页的实验中,我们以频度大于100的新词为候选缩略语集进行提取,准确率是51.4%,召回率是81.7%。在以上技术基础上,我们开发了一个B/S结构的基于Internet的中文新词检测与分析系统,实现了对中文新词的实时在线检测。
其他文献
从北京市水务局获悉,朝阳区正在开展困难家庭免费更换节水马桶试点工作,免费为符合条件的困难家庭更换节水马桶。目前,已为60户困难家庭陆续安装了节水马桶,受到了小区居民的热烈
刘呐鸥具有一种异域情结,这种情结体现在刘呐鸥的小说创作和都市选择上。在小说创作方面,刘呐鸥的小说集《都市风景线》中的人物形象的塑造上和小说语言运用两方面来进行分析
当今世界,随着经济全球化进程的不断加速,国家与国家之间的交流已不局限于政治、经济、军事,文化交流成为国际交往中的重要一环,由此产生的国际文化贸易也取得了长足发展。另
目的分析神经外科术后下肢深静脉血栓形成的预防措施及护理效果。方法该次研究中的观察对象均选自于在该院接受治疗的神经外科术后患者中,70例患者的接收时间均在2018年3月—
在城市现代化建设、“退二进三”的浪潮下,曾经辉煌的老工业企业面临着倒闭拆除的命运,众多的工业遗产随之消亡。工业遗产作为城市历史发展的见证者和工业时代工人的精神依存
随着经济社会的快速发展和人民生活水平的显著提高,文化消费在社会大众的消费结构中所占比例日益增大,文化消费已经成为体现一个国家、一个地区经济发展水平、社会进步程度和
教师作为一种专门化的职业,在整个教师专业发展的过程中教师自身知识的储备都处于核心的地位。不等式作为刻画不等关系的重要方式,是中学数学教学中非常重要部分之一,对数学
为分离、培养高纯度原代小鼠肝实质细胞,并鉴定其纯度及生物活性,试验采用原位两步循环灌流法及多次低速差速离心法分离纯化肝实质细胞,促贴壁培养基原代培养,台盼蓝检测其存
随着社会经济现代化发展,金融越来越复杂,越来越成为现代经济的核心。传统金融发展理论力图将复杂性化解为简单性,虽然形成很多有代表性的理论,但是对现代金融发展实践的解释
随着党的十八大精神在我国文化系统中的认真贯彻,努力构建坚持改革创新、拥有改革发展新局面的社会主义文化强国成为我国发展的新目标。这就要求我们要大力发展文化产业。谈