论文部分内容阅读
WWW自从1991年问世以来得到了非常迅速的发展,为人们获取各种信息提供了方便。随着Internet技术的不断发展和完善,WWW将会逐步成为人们获取信息的一个重要渠道。如果说,在信息量相对较少的时候,Internet为人们获取信息提供了方便的话,随着Internet上信息量的急剧增加,人们却感觉到查找所需要的信息越来越困难了,其原因就在于传统的信息检索方式已越来越不适应网上的海量信息,人们希望有更加智能化的信息检索方式出现,以应对海量信息的检索。 本文对面向智能信息检索的Web挖掘的若干关键技术进行研究,重点研究了数据预处理、Web页面分类/聚类及Web用户分类/聚类、概念检索、个性化服务等问题,提出或改进了一些应用于智能信息检索的Web挖掘算法,应用研究成果实现了一个小型智能化信息检索的系统原型。 数据预处理包括基于PDF文件的信息抽取、中文文本分词和Web日志预处理。对于PDF文件信息抽取,提出了基于格式注入的规则抽取和基于树模型的信息抽取算法,在人工标注指导下学习信息抽取规则,取得了较高的信息抽取准确率。对于中文文本分词,提出了基于固定词典和统计相结合的渐进式丰富词典的中文文本分词方法,较好地解决了新词识别问题,相对于单纯的词典方法或统计方法,具有更好的分词效果。Web日志预处理包括数据清洗、用户识别、会话识别和路径补充等工作,在分析已有工作的基础上,重点讨论了路径补充问题并提出了新的路径补充算法,使Web日志预处理工作更加完善。 在中文页面分类研究中,讨论了用于文本分类的各种方法,重点讨论了对文本分类具有较高分类准确率的k-近邻方法。针对k-近邻方法分类效率不高的问题,提出了基于密度的训练样本集约减、渐进式分类等算法。通过计算训练样本集中各类别的类别密度及整个训练集的平均密度,去掉高密度类别中的部分样本;渐进式分类模式模拟人工分类文本的智能化形式,分为按标题分类、按关键段落分类和按全文分类三个层次,尽量减少分析全文的比例。实验表明,这两个方面的改进,不仅提高了k-近邻方法的分类效率,而且对其分类准确率也有一定程度的提高,这说明训练样本集的约减使其具有更好的代表性,渐进式文本分