论文部分内容阅读
社会保险业务作为全国一项基本惠民国策,正在有序而实效的展开。随着业务系统的不断增加,系统需要管理的设备也不断增加,硬件系统故障也越来越多。查看网络日志作为一个基本手段,是查看、解决系统故障的重要措施,也是监控系统运行状态的重要方法。但目前日志信息数据量大,难以理解,对系统管理员来说手工查看记录日志来说,不仅数据量太大的问题难以解决,更会直接导致对系统日志中的有用信息难以发现。本文使用Hadoop分布式计算框架来解决这个问题,利用使用系统自带的syslog日志进行收集、整理工作。细致对Hadoop分布式框架进行分析,对原有系统syslog文件传输进行分析,在此基础上对原有分布在在各地需要的主机快速有效的收集日志,设计并实现一套基于Hadoop的社保网络日志分析系统,实现原有syslog日志文件整理、分析。本文综合考虑到目前社保网络中的日志特点,使用Hadoop的HDFS分布式文件系统进行搭建环境,为原系统提供有效、实用、快速的分析结果,使用户对整体网络系统做到心中有数,使整体系统满足社保行业发展需要,同时也验证基于hadoop框架结构的网络日志分析系统是有效而实用的。