论文部分内容阅读
随着近年来中国石油勘探生产公司门户的应用,公司员工上网产生的日志数据越来越多。在当前大数据发展和应用的背景下,如何从海量的上网日志中分析出员工上网的行为特征,进而调整门户页面布局和新闻栏目,实现精准信息服务,成为勘探与生产公司亟需解决的问题。本文结合中国石油勘探生产公司提出的业务需求,研究并实现了基于大数据分析的勘探生产公司员工上网行为分析系统。首先,根据分析方法技术以及勘探生产公司员工上网特点完成了对员工上网行为分析系统的需求分析;然后对勘探生产公司员工进行特征提取和门户信息的研究;最后根据需求分析完成了系统的设计与实现。使用Hadoop等相关技术实现了门户网站中大数据的存储与处理,使用MapReduce的并行计算框架得到员工特征属性,建立基于MapReduce的朴素贝叶斯加权分类器来实现员工上网行为的分析,实现了基于大数据分析的包含数据预处理、员工上网特征提取、员工上网行为分类器和数据可视化展示功能的勘探生产公司员工上网行为分析系统。通过员工上网行为分析系统,实现了对目标用户的精准定位,优化门户新闻栏目的布局与内容,满足了企业提出的需求,推进了中国石油勘探与生产公司门户的深入应用,提高了勘探生产公司门户信息服务的智能化水平。