网络双语语料挖掘关键技术研究

被引量 : 0次 | 上传用户:cangyueshang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着统计方法的迅速发展,大规模双语语料库已成为跨语言信息处理不可或缺的基础资源。双语语料已被大量应用于挖掘双语术语、命名实体和双语词典等更细粒度的互译等价对,为统计机器翻译和跨语言信息检索等领域提供支持。然而,现有的双语语料资源十分匮乏,而低密度语言的双语语料尤为稀缺。近年来,网络原始双语资源迅速增长,且具有内容新颖和来源广阔的优势,围绕网络双语语料挖掘方法的研究已成为人们关注的焦点。本文以网络双语语料挖掘技术为研究对象,进行了平行语料和可比语料挖掘系统的设计,并展开了四项关键技术的研究:平行网页识别、网页正文抽取、关键词提取以及跨语言文本相似度计算。分述如下:1)基于新特征信息的平行网页识别为解决挖掘网络平行语料面临网页结构非对称的问题,本文提出将改进的编辑距离计算网页HTML标签序列的相似性以及最大匹配计算数字序列的相似性等作为特征信息,利用支持向量机进行平行网页识别。该方法降低了对网页结构信息的依赖程度,提高了对现有的低密度语言网络资源的适应性。2)基于文本密度模型的网页正文抽取为解决结构布局各异的网页抽取正文时发生边界误判的问题,本文提出一种基于文本密度模型的新闻网页正文抽取方法,主要通过融合网页结构和语言特征的统计模型,将网页文档按文本行转化成正、负文本密度序列,再根据邻近行内容的连续性,利用高斯平滑技术修正文本密度序列,最后采用改进的最大子序列分割密度序列抽取正文内容。该方法既保持了正文的完整性又排除了噪声的干扰,且无需人工干预或反复训练。3)基于LDA模型的文档关键词提取为解决现有的关键词抽取方法未能综合体现文本主题的显著性、可读性以及全面性的问题,本文提出一种基于文档隐含主题的关键词抽取新算法TFITF,主要利用大规模语料产生隐含主题模型以计算词汇对主题的TFITF权重,并进一步产生词汇对文档的权重,再采用共现信息合并相邻词汇以形成候选关键短语,最后使用相似性排除隐含主题相近的冗余短语。该方法有效地提高了文档关键词抽取的准确率与召回率。4)基于Bi-LDA模型的跨语言文档相似度为解决使用互译词汇等特征匹配跨语言文档时无法衡量文档对主题相关性的问题,本文提出基于Bi-LDA模型分析不同语言文档的跨语言主题模型,并给出文档-主题的KL散度、主题频率-逆文档频率的余弦值和文档的条件概率三种方法,分别计算不同语言文档的相似度,为筛选相似文本对自动构建可比语料库提供基础。该方法增强了对文档语义信息的理解,克服了利用互译词汇匹配文档的表面性,可有效地匹配主题一致的不同语言文档。本文在平行语料挖掘中主要的技术有平行网页识别和网页正文抽取,在可比语料挖掘中主要的技术有网页正文抽取、关键词提取和跨语言文本相似性。实验证明,本文的方法提高了网络资源的利用率和网络双语语料挖掘的质量。
其他文献
陈忠实的中短篇小说与长篇《白鹿原》有着紧密的联系。他的中短篇小说是所有作品中重要而不可或缺的组成部分,是陈忠实重要的创作积累。尤为重要的是,中短篇小说与《白鹿原》展
社会进入后现代时期,话语已不仅仅以文本模式体现,而且以图画、声音、动画、编排、颜色、图表等多种模式同时出现。研究话语的多模态性以及话语以多种模态共同参与社会实践的特
静息态功能磁共振成像(functional megnetic resonance imaging, fMRI)反映了大脑在静息状态下的活动情况,现已被广泛用于研究人脑功能。本文主要采用静息态fMRI数据进行了两
随着时代的发展,社会的科技水平也在不断的提升。在互联网技术不断发展的今天,“互联网+”已逐步走进了社会生活的各个方面中。中小茶叶企业作为茶叶企业的主力军,对其财务管
随着中国汽车工业的不断发展,中国汽车产销量居世界第一,已成为国民经济的重要支柱产业。中国的汽车产业目前有大量的不道德营销行为,这将不可避免地影响到中国汽车产业的可
为确定呼和浩特市动物园内的野生草本植物的种类,采用踏查法对动物园内野生草本植物进行了调查,结果表明:呼和浩特市动物园内野生草本植物主要有139种,隶属于39科114属,其中
<正>最近,我们经常能看见邻居家的小学生在楼下玩。原来邻居为孩子购买了在线课程,在家就可以上外教课,孩子终于可以多点自由支配时间了。之所以选择这个课程,邻居说,一是其
在当今知识经济时代,农业现代化和新农村建设均离不开高素质农民,未来农民科技水平的高低将会直接影响到农业现代化的进程。高职农业院校是未来职业农民培养的摇篮,其培养的
文明诞生以来,人类就在为追求更高的生活品质而不断努力着。伴随着科技的诞生与发展,人们的生活达得了前所未有的方便与享受。但在这改变之中,也不乏随之产生了很多问题,异化
社会的发展和进步会促使一个产业的发展,人们的需求也随之变化。如今简单的物质追求已不能满足人们的要求,追求精神上的需求渐成为时代的主流。在全球经济不断发展,生活水平