基于HADOOP架构的社保项目网络日志分析系统的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:rghaijun23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社会保险业务作为全国一项基本惠民国策,正在有序而实效的展开。随着业务系统的不断增加,系统需要管理的设备也不断增加,硬件系统故障也越来越多。查看网络日志作为一个基本手段,是查看、解决系统故障的重要措施,也是监控系统运行状态的重要方法。但目前日志信息数据量大,难以理解,对系统管理员来说手工查看记录日志来说,不仅数据量太大的问题难以解决,更会直接导致对系统日志中的有用信息难以发现。本文使用Hadoop分布式计算框架来解决这个问题,利用使用系统自带的syslog日志进行收集、整理工作。细致对Hadoop分布式框架进行分析,对原有系统syslog文件传输进行分析,在此基础上对原有分布在在各地需要的主机快速有效的收集日志,设计并实现一套基于Hadoop的社保网络日志分析系统,实现原有syslog日志文件整理、分析。本文综合考虑到目前社保网络中的日志特点,使用Hadoop的HDFS分布式文件系统进行搭建环境,为原系统提供有效、实用、快速的分析结果,使用户对整体网络系统做到心中有数,使整体系统满足社保行业发展需要,同时也验证基于hadoop框架结构的网络日志分析系统是有效而实用的。
其他文献
利用ICEM CFD 18.0软件,基于反应动力学实验结果,对额定蒸汽量40 t/h的煤粉锅炉配套的灰钙循环烟气脱硫反应器进行数值模拟,研究钙硫比和烟气量对脱硫效率的影响,同时把模拟结果和工业试验结果进行比较验证。结果表明:不同钙硫比下,反应器内SO2浓度均随反应器高度的增加先升高再降低;烟气脱硫效率随钙硫比的增加而升高,但当钙硫摩尔比从1.0增加到1.4时,脱硫效率无明显变化;不同烟气量条件下,
近几年,随着科学技术的高速发展,新媒体尤其是互联网的飞速发展使得麦克卢汉预言的“地球村”正在变为现实,人们正处于一个新媒体所营造的语境之中。新媒体对新闻受众群体的
随着塑料工业的不断发展,聚乙烯材料在农业中应用的也越来越广泛。本文以聚乙烯滴灌带为例,采用自然老化与紫外线人工加速老化试验、外观观测和力学性能测试相结合的研究方法,在
2009年6月2日,据谷歌网站最新统计显示,“科印网(www.keyin.cn)”的网站PR值(全程PageRank)已经跃升为6,位居中国印刷包装行业第一。
语言是重要的交际工具,是人类文化的重要组成部分,蕴含深广的文化内涵。词汇是构成语言的基础,是语言的基本建筑材料,是语言的细胞,没有词汇便无法完成信息传递,实现语言的交