英、汉跨语言话题检测与跟踪技术研究

被引量 : 7次 | 上传用户:lanqin2394
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今世界已经逐步迈入信息化和数字化时代。根据CNNIC第30次调查报告①显示,截止2012年6月底我国网络用户数量已达到5.38亿,网站数达到250万,网络新闻的用户规模达到3.92亿,网民对网络新闻的使用率高达73.0%。由于网络新闻发布简便快捷等特点,互联网已成为新闻传播的“第四媒体”。普通民众希望从海量网络资源中获取自己感兴趣的新闻话题,同时也希望了解其他国家的新闻话题。因此,对网络新闻话题进行跨语言的检测与跟踪,己经逐渐成为当今国内外学者研究的兴趣之所在。目前的跨语言话题检测与跟踪研究中存在着多个具有挑战性的难题。首先,网络新闻报道文本描述手段匮乏,涉及多语言环境的新闻报道话题描述难度更大;其次,跨语言话题检测与跟踪需要实现多语言环境下的新闻报道处理,怎样跨越语言鸿沟,是首先需要攻克的技术难题之一。再次,如何更好地发展现有技术,并将其应用到话题检测与跟踪研究中,这一问题值得进一步探讨。针对上述问题,希望本文对英、汉跨语言话题检测与跟踪技术的研究能为语言处理相关技术的发展做出微薄贡献,并能为我国多民族语言文本处理提供一定的借鉴。本文的研究主要包括跨语言新闻报道文本分析、跨语言话题模型构建方法、语料库构建方法、跨语言话题检测和跨语言话题跟踪等五个部分。首先,笔者从新闻报道的本质因素研究入手,从新闻的认知理解和本身特性这两个角度来分析新闻报道的核心要素。通过分析,笔者认为词汇处理是对文本进行描述的有效途径之一;新闻要素也可作为对报道文本加以区分的手段。其次,本文从“报道-话题-事件”的相互关系出发,阐述了CLTDT研究中新闻报道模型构建的基本思路;分析了当前常用文本表示模型的特点与不足;认为早期文本表示模型缺乏对“报道-话题-事件”之间关系的深入描写和刻画。为了揭示新闻文本中潜藏的话题,本文选取了LSI模型和LDA模型进行文本建模实验,并通过实验对比和分析了两种模型对新闻报道文本的描述能力。在以上理论分析和实验验证的基础上,我们提出在英、汉可比语料库的基础上进行跨语言话题检测与跟踪研究的思路。通过语料采集、元数据处理、新闻事件分类、语料分词处理和标注、命名实体标注等流程和步骤,本文尝试建立“英、汉跨语言新闻报道可比语料库”。我们将以语料库中所包含的英、汉新闻报道文本语料为基础,对跨语言环境中的新闻话题进行检测与跟踪研究。在综合当前跨语言处理技术和LDA模型研究的基础上,结合本文研究目的,笔者提出跨语言联合LDA (CLU-LDA)模型。这一模型既可以对英、汉新闻报道进行事件回顾检测,又可以对新事件进行发现。在跨语言话题跟踪中,通过使用先验的话题模型对新闻报道样本话题进行推断,借助已有先验知识和可比语料库,我们不仅可以在时间序列上描绘出新闻事件的话题发展状况,还可以对特定新闻报道进行有效跟踪。
其他文献
本文通过调查和研究,初步探索总结出辣椒病虫害的综合防治技术,对辣椒优质、安全、高产具有一定的促进和指导意义。
在我国城乡二元结构体制下,大量村庄受城市化进程影响,被包围在城市规划区内但并未发展为城市,成为了所谓的“城中村”。城中村的存在,给城市的发展带来了诸如影响城市整体形
应用毛细管电泳技术,建立了快速测定单胺氧化酶(MAO)活性的方法。研究对分离缓冲液pH值、浓度、毛细管表面改性剂十四烷基三甲基溴化铵(TTAB)浓度等影响因素进行优化,探讨了方法的
本文对模拟双色球开奖程序的设计思路、函数使用、运行结果等进行了介绍。
马尔可夫链是一种时间离散、状态离散、带有记忆情况的随机过程,是预测问中常用的一种数学模型。本文基于马尔可夫链分别对安徽17个地级市人均GDP、东方6+1彩票和全国电信业务
由空位聚集而形成的空洞型缺陷(Void)是直拉硅单晶中一种重要的原生微缺陷,它们的存在不仅会使栅氧化物的完整性(GOI)受到严重破坏,还会造成PN结漏电、槽型电容短路或绝缘失
在近代,随着西方势力的影响抵达安徽地区,安徽城市发展的动力因素发生了变化。经济动力成为近代安徽城市发展的重要动力;农业时代起关键作用的政治动力依然在很大程度上影响
文章利用中国29个省制造业的数据,采用空间计量模型对多种形式知识溢出与创新之间的关系进行了实证分析,结果表明,创新活动受益于本地制造业中高技术产业的专业化与竞争性的
随着科学技术的快速发展,世界各国的经济建设也取得了不小的成就。经济发展的同时伴随着贫富差距越来越严重,两级分化越来越明显。目前世界上约有1/4的人口处于贫困状态。贫
城市高架桥梁采用全预制拼装施工方案,可以有效提高工程质量,加快施工进度,减轻环境影响,因此近年来在国内高架建设中得到了广泛应用。虽然国内已有部分针对预制桥墩构件抗震