随着互联网Web技术的快速发展,互联网的用户人数在成指数型级别增长。在互联网服务用户的同时,产生了海量的Web日志信息,这些信息构成了大量的数据,隐藏着庞大的商业资源和利用价值。同时,呈爆炸式的用户人群在浏览互联网Web页面时,通过自身的经验与搜索去主动查询自己所需的资料,往往在繁琐的操作后得不到想要的目标,好像湮没在这海量的信息之中。因此,大数据技术与数据挖掘在很大程度上解决此问题。本文基于大数据技术与数据挖掘技术,研究内容主要有以下几个方面:对大数据和分布式技术进行了研究。主要深入的研究了Hadoop/Spark大数据平台。Google公司在大数据时代引领了潮流,其开发的大数据分布式平台Hadoop已经生成了完整的生态系统,得到了广泛的应用,其中MapReduce(MR)编程模型与HDFS最为常用。Spark是UC Berkeley AMP 1ab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的的算法。对基于深度学习的n1p/Word2Vec算法技术衍生的预测模型进行了研究。首先,word2vec算法可以在百万数量级的词典和上亿的数据集上进行高效地训练;其次,该工具得到的训练结果——词向量(word embedding),可以很好地度量词与词之间的相似性。在日志挖掘过程中,我们可以选择利用其组成的会话序列探究各个日志的相似性。对于具体的会话序列的生成方法和序列中上下文的选择、训练方法,本文在研究了相关的词频加权算法之后,在word2vec的基础上做了改进,从而具备了对每个日志有相似性运算与结论预测的理论基础。对于基于Spark/HDFS的日志分析平台进行了详细的设计。根据对相关大数据分布式平台与算法的深入学习与研究,本文将涉及一个基于Spark/HDFS的日志挖掘与分析平台。该平台的组成模块有以下几个:日志预处理模块,日志存储模块,日志挖掘模块。日志预处理模块采用Spark平台实现;日志存储模块使用Hadoop中的HDFS实现。日志挖掘模块采用改进后的Word2Vec算法进行实现,由于是分布式处理,对算法流程设计使其能在分布式平台运行。最后对基于大数据平台的Web日志分析平台进行功能与性能的测试,通过对单机系统以及其他模型的对比,证明了该系统在处理大数据量的Web日志方面具有优势。