本文介绍了文本分割的历史发展和现状,对当前文本分割领域的主流方法进行了讨论,并结合文本分类任务对文本分割任务中所存在的问题及典型的解决方案进行了介绍。因为统计模式识别已是当前文本处理领域的主要手段之一,所以本文对统计模式识别中的一个重要概念Fisher线性分析做了较详细的研究,并采用其中的一种形式即基于欧式空间的类内类间距离方法作为评价函数,结合使用聚类的思想设计了一套算法,应用于文本分割任务。 因为本文的方法是由文本分类中的方法改进而成,所以在用于文本分割的任务时做了一定的修改。尤其针对对分割间距严重偏斜的情况的处理方面,本文尝试了熵函数惩罚方法,并最终提出了连乘概率方法对原类内类间距离进行修正。 本文的改进方法意义在于使用了含有全局信息的评价方法。虽然本文所采用的方法仅仅是各种含有全局信息的一种,但本文认为在文本分割中加入全局信息将有助于改善文本的分割效果。无论是分割方式还是语义段落数目的确定都需要有全局信息的参与。所以本文认为在文本分割任务中有必要使用含有全局信息的方法。 对于试验结果,本文重复了TextTiling算法在确定分割方式和语义段落数目的试验,并在试验的改进部分里阐述了其方法的一些不足之处,对比这些不足本文所提出的方法有了较明显的性能改善,较之TextTiling的方法高出近10个百分点。同时对于语义段落数目的确定本文的方法也较之TextTiling方法有极大的改善。 最后本文对所涉及的工作进行了总结,并对文本分割的一些环节中的方法提出了改进的试验方案。相信这些改进方案将有助于本文的文本分割方法进一步提高性能。