基于数据挖掘的Web文本分析研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:kkk0089
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,人们利用计算机技术进行生产、研究等方面的需求迅速提高,成千上万的数据库被用于电子商务、商业管理、政府办公和科学研究等众多领域。特别是在Internet技术日趋成熟的今天,在Internet上存在着可以广泛被使用的大量甚至海量的数据,人们迫切需要从这些数据中获取有用的信息和知识,为了解决信息过量与知识贫乏之间的矛盾,数据挖掘技术引起了信息产业界乃至整个社会的极大关注,成为当今研究的重点。   本文的主要内容是基于数据挖掘的Web文本分析研究,首先分析了当前数据挖掘特别是Web文本挖掘的研究现状,在介绍了数据挖掘的相关概念、基本方法以及基本应用等之后,通过构建Web文本挖掘的框架,重点分析Web文本挖掘的基本方法和步骤。在Web文本分类方面,提出了一种可伸缩的朴素贝叶斯分类算法并作了实验分析。在较全面综述了基于密度的离群点检测的概念、理论和方法后,提出了基于信息熵加权的局部离群测度离群点检测算法,分别针对一般的数据集以及Web文本数据集做了实验和分析,取得了一定的成果。本文的主要内容如下:   (1)Web文本挖掘的相关概念,首先介绍了数据挖掘的概念、任务、方法、流程以及应用,然后进一步阐述Web文本挖掘的定义,研究了Web页面的特征表示、Web页面的特征提取、Web文本挖掘的结构模型,并指出了Web文本挖掘未来的发展方向,最后通过实验对Web文本进行了预处理。   (2)基于雨林框架的朴素贝叶斯Web文本分类,在介绍了朴素贝叶斯分类算法和雨林框架的基本理论后,提出了一种可伸缩的分类算法,可以用于Web文本分类。通过具体的算法设计与实验验证了该算法的可行性与有效性,最后进行了总结和展望。   (3)基于信息熵加权的Web离群点检测,首先对离群点的概念、应用和基本方法等做了综述,特别对基于密度的局部离群检测做了深入的研究,总结了基本的算法及其特点。在这些准备工作之后,对局部空间离群测度(SLOM)算法进行了改进,提出了基于信息熵加权的局部离群测度(ESLOM)离群点检测算法,给出了详细的算法定义和算法描述,最后针对多种不同的数据集进行了具体的实验,特别是对Web文本数据进行了实验,对实验结果进行了分析研究。
其他文献
本文主要研究了一类含有临界Sobolev指标的半线性和拟线性椭圆方程和方程组多解的存在性问题。   首先在第二章中我们利用集中紧技巧研究了下面这个含有临界Sobolev指标的
广义系统是动力学系统中较为普遍的一种,它不仅有指数解还有正常系统所没有的脉冲解和静态解,同时广义系统输入的导数项,使它有脉冲行为.正因为广义系统这些特性,使它成为近
本文主要从一个2×2矩阵谱问题出发,导出与它相联系的一族新的非线性演化方程,其中一个非平凡演化方程就是Sharma-Tasso-Olver方程.然后我们由方程的Lax对,获得对应的Riccati
基于P2P的直播流媒体技术能够充分的利用节点的剩余网络资源,减轻了服务器的压力,具有很强的实时性,成为近年来研究的热点之一。回放技术作为流媒体的关键技术已经广泛应用于非
泛连通性和不交路覆盖是互连网络中的两个重要问题.泛连通性意味着有各种长度的路的嵌入,可以有效模拟在线性阵列上设计的许多种算法.不交路覆盖意味着所有的结点都可以参与并