论文部分内容阅读
随着Internet的迅速发展,人们面对太多的信息无法选择和消化,淹没在繁杂的信息中,这种现象称为信息过载。Internet上信息资源分布的广泛性又给用户寻找感兴趣的信息增加了困难,用户不知道如何更有效地发现自己所需的信息资源,即信息迷失。当前我们主要采用搜索引擎来检索Web上的信息,但是大多数搜索引擎缺少主动性,没有考虑用户的兴趣偏好和用户的不同,无法有效地解决信息过载和信息迷失的问题。
直接或间接解决这个问题的途径之一就是将数据挖掘技术应用于Web服务器日志的挖掘,从用户在Web上浏览行为数据中获取用户的浏览模式,根据用户的行为模式,改进站点的设计和服务,开展个性化服务和构建智能Web站点。
针对上面提出的问题以及解决办法,本论文系统地阐述了从数据挖掘、Web数据挖掘到Web日志数据挖掘整个过程。本论文使用了基于序列模式的挖掘算法对Web日志进行了挖掘,并对算法进行了实验,给出了实验结果,证明了本方法的有效性。
本论文首先介绍了当前Internet的发展以及数据挖掘在Web中的应用,并着重介绍了数据挖掘的相关概念以及技术,然后介绍了数据挖掘领域中Web日志挖掘相关方法,其中重点介绍了基于序列模式的Web日志挖掘技术。接下来论文详细阐述了Web日志挖掘的整个过程,从Web日志数据的预处理工作(数据净化、用户识别、会话识别、路径补充、事务识别)到使用序列模式对经过预处理的数据进行挖掘的方法。在Web日志挖掘算法中,使用了一种基于广度优先的序列模式挖掘算法,并对算法进行了详细的描述。我们使用java语言对算法进行了实现并对Web日志进行了挖掘,并且得出了挖掘结果。最后我们对挖掘结果进行了仔细的分析以及把该算法的挖掘结果与其他算法的挖掘结果进行了对比,实验证明我们的算法能有效挖掘出Web日志中的序列模式。最后,对论文作出了总结并对将来的工作做了展望。