论文部分内容阅读
随着计算机技术的发展,人们利用计算机技术进行生产、研究等方面的需求迅速提高,成千上万的数据库被用于电子商务、商业管理、政府办公和科学研究等众多领域。特别是在Internet技术日趋成熟的今天,在Internet上存在着可以广泛被使用的大量甚至海量的数据,人们迫切需要从这些数据中获取有用的信息和知识,为了解决信息过量与知识贫乏之间的矛盾,数据挖掘技术引起了信息产业界乃至整个社会的极大关注,成为当今研究的重点。
本文的主要内容是基于数据挖掘的Web文本分析研究,首先分析了当前数据挖掘特别是Web文本挖掘的研究现状,在介绍了数据挖掘的相关概念、基本方法以及基本应用等之后,通过构建Web文本挖掘的框架,重点分析Web文本挖掘的基本方法和步骤。在Web文本分类方面,提出了一种可伸缩的朴素贝叶斯分类算法并作了实验分析。在较全面综述了基于密度的离群点检测的概念、理论和方法后,提出了基于信息熵加权的局部离群测度离群点检测算法,分别针对一般的数据集以及Web文本数据集做了实验和分析,取得了一定的成果。本文的主要内容如下:
(1)Web文本挖掘的相关概念,首先介绍了数据挖掘的概念、任务、方法、流程以及应用,然后进一步阐述Web文本挖掘的定义,研究了Web页面的特征表示、Web页面的特征提取、Web文本挖掘的结构模型,并指出了Web文本挖掘未来的发展方向,最后通过实验对Web文本进行了预处理。
(2)基于雨林框架的朴素贝叶斯Web文本分类,在介绍了朴素贝叶斯分类算法和雨林框架的基本理论后,提出了一种可伸缩的分类算法,可以用于Web文本分类。通过具体的算法设计与实验验证了该算法的可行性与有效性,最后进行了总结和展望。
(3)基于信息熵加权的Web离群点检测,首先对离群点的概念、应用和基本方法等做了综述,特别对基于密度的局部离群检测做了深入的研究,总结了基本的算法及其特点。在这些准备工作之后,对局部空间离群测度(SLOM)算法进行了改进,提出了基于信息熵加权的局部离群测度(ESLOM)离群点检测算法,给出了详细的算法定义和算法描述,最后针对多种不同的数据集进行了具体的实验,特别是对Web文本数据进行了实验,对实验结果进行了分析研究。