基于内容相关度计算的文本结构分析方法研究

被引量 : 16次 | 上传用户:hankeycncn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本结构可分为物理和逻辑结构两种形式,文本的物理结构是指组成文本的基本要素(如标题、段落、句子、词汇和标点符号等)在文本中的实际位置所决定的结构,可以用向量空间模型予以表示;文本的逻辑结构是指组成文章思想内容的主题、层次、段落、句子、主题词在概念意义上所形成的逻辑关系,通常用树或图予以表示。文本结构自动分析就是期望计算机能够自动将一个文本划分成互不相交的若干文本单元,或者从语义上将文本解析成为一棵层次结构树,以便获得文章本来的逻辑结构。文本结构分析对于实现文本理解和文本推理具有重要意义,只有从宏观上把握文章的逻辑结构,才能更合理的从全局的视角理解文章的主题及中心思想;同时,文本结构分析结果对于文本自动摘要、基于篇章段落的信息检索、话题检测与跟踪等自然语言处理任务也具有重要作用和影响。然而,文本结构通常需要在理解上下文内容的基础上才能获得,而对语言的理解又超出了目前计算机的能力和水平,因此,要使计算机在没有理解上下文内容的前提下,准确的分析出文本的组织结构,是一个非常困难的问题。本文根据文本篇章组织结构理论以及文本组织结构特点,将文本结构分析转换成为线性结构分析或者层次结构分析任务。据此,首先通过研究词语间语义相关度计算方法、句子间语义关系识别和句子间语义相关度计算方法,进行文本上下文内容相关性分析和相关度计算,并以此为基础,研究对文本进行线性结构分析或者层次结构分析的关键技术和方法。具体来说,本文的创新性工作主要体现在以下几个方面:(1)对文本结构进行抽象描述。将文本中的“句子”、“标题”、“自然段”、“文章”、“主题/子主题”等语言学概念加以形式标记;提出了“基本论证结构”、“递归论证结构”、“文本结构树”、“文本主题单元”等层次结构概念及表示方法,以便对文本组织结构模式进行抽象描述;对“主题的级”、“主题结点粒度”进行了定量化描述和计算,以便刻画文本结构树中主题结点对内容的涵盖能力。(2)研究了词语间语义相关关系及相关度计算方法。在分析词语间相关度和相似度概念关系的基础上,提出了词语间语义广义相关度的概念及其相应的计算方法:首先从外延逻辑思想出发,提出了一种基于语料的、通过构建词语语义关系二分图的方法,来计算词语狭义相关度;同时,以汉语概念内涵逻辑模型思想为基础,提出了一种基于词典内涵释义及释义项展开的词语语义相关度计算方法,其计算结果强调的是词语在内涵概念上的关联关系;然后,将两种方法计算的相关度结果进行融合,得到词语语义广义相关度。通过标准的M&C中文版测试数据集评测结果表明,融合得到的广义相关度汲取了外延逻辑刻画实体分类的优势和内涵逻辑刻画汉语凸显实体内涵属性特征的优势,取长补短、优势互补,其计算结果更接近人的认知和判断。(3)研究了语篇上下文句子之间语义关系及相关度计算方法。首先,根据语言学界总结的句际语义关系和它对应的词语形式标记,提出了一种机器自动识别上下文句际语义关系的方法(定性方法),包括词语形式模板的获取、模板冲突消解的方法以及句际语义关系识别算法,并用实验验证了该方法的有效性和识别效果;其次,提出了一种基于词语广义相关度的句子间相关度计算方法(定量方法),实验表明,本文提出的句子间相关度计算结果比句子间相似度计算结果更接近人的理解和判断。(4)根据词语广义相关度计算方法、句际语义关系分析与相关度计算方法,研究了文本线性结构分析中的相关问题,提出了一种基于内容相关性分析的文本分割方法,实验表明,本文提出的方法在文本分割性能上要好于经典的TextTiling算法,而且也好于现有文献报道的面向中文的文本分割算法的性能。(5)研究了文本层次结构分析的相关问题,并假定同一类型的文本应该具有相同或相似的组织结构模式。据此,提出了一种基于Na?ve Bayes模型的文本层次结构分析方法,即用Na?ve Bayes模型从训练文本中学习文本的组织结构模式,再根据获取得到的文本组织结构模式,对待分析的同类型文本,按照自底向上的方式,递归的向上归并,直到生成只包含一个根结点的文本结构树。同时,提出了一种基于生物序列比对算法的文本结构分析方法,从训练文本中学习文本组织结构模式,以便进行文本组织结构分析。实验结果表明,上述两种方法都取得了一定的效果,从目前的测试数据集上看,前者要比后者具有更好的性能。
其他文献
<正>《普通高中数学课程标准》指出:"有效的数学教学活动必须建立在学生的认知发展水平和已有的知识经验基础之上."强调重新定位"教"与"学"的关系,意在打破传统教学中教的主
<正>塑料薄膜凹版印刷环保问题环保油墨相关标准从2007年才开始发布。2007年,推荐性国家环保标准《环境标志技术要求胶印油墨》、《环境标志技术要求凹印油墨和柔印油墨》相
<正>2015年3月28日,以"关注顾客感受,助力提质增效"为主题的"2015年度中国顾客满意度调查结果发布会"在中国标准化研究院召开,《2015年中国顾客满意度手册》同期出版发行。2
国有建筑施工企业对国家的经济和建设起着重要作用。自国家扩大其自主经营权以来,国有建筑施工企业如何在市场竞争激烈的今天有效地吸引人才、留住人才,提高核心竞争力在竞争
目的评价颈动脉粥样硬化斑块的新生血管与冠状动脉粥样硬化性心脏病(简称冠心病)的关系。方法 312例冠心病患者中急性冠状动脉综合征(ACS)患者51例(ACS组),稳定性冠心病(sCAD
柠条(Caragana spp.)是豆科锦鸡儿属植物的统称,属植物系落叶灌木,为欧—亚草原植被亚区的典型植物。主要包括小叶锦鸡儿(Caragana microphylla),中间锦鸡儿(C. intermedia)
脓毒症(sepsis)是一种创伤、感染等引起机体过激的炎症反应从而对人体产生严重危害的疾病,死亡率极高。近年来,随着科学家对脓毒症的深入研究,发现其病程变化中免疫系统的功
本文在调查的基础上,深入分析西部地区银行业在加入WTO后面对的挑战,指出大中型企业贷款客户流失、地方性商业银行、西部银行创新能力和服务质量、人才流失的潜在可能性、中
一、外商投资企业对我国经济及可持续发展的积极影响截至1998年底,我国累计批准设立外商投资企业324667个,协议外资5725亿美元,实际使用外资2674亿美元。自1993年以来,我国连续6年成为仅次于美国的世界第
煤矿井下采掘作业的安全性一向是一个备受关注的话题,对井下采掘工作起到决定性作用的是井下的支护结构以及支护方式。本文从大断面煤矿的支护技术研究着手进行分析,随后通过