互联网的高速发展,为企业带来了海量的日志数据,数据的增长一方面会给企业带来更高的计算和存储要求,另一方面数据也蕴含着巨大的价值,这些数据中所包含的用户行为特征和根本需求等信息,是企业掌握市场动向的根本来源。然而使用传统技术对海量日志数据进行分析处理时,由于传统技术单服务器执行任务的特性,不论是计算能力还是存储能力都遇到了瓶颈,在其扩展性和计算速度上都受到很大限制,同时面临数据一旦丢失便不可挽回的风险。因此,该课题设计和实现了基于分布式架构的日志分析系统。本文首先介绍了课题的背景,概述了与本日志分析系统相关的技术背景,包括Hadoop整体架构、Flume和Redis开源组件。随后根据系统设计特点,结合用例图对系统的功能性和非功能性需求进行需求分析。在此基础上进行系统的整体架构设计,将日志分析系统分为四个模块:日志数据收集模块、日志数据预处理模块、日志数据分析处理模块和日志数据展现模块。在架构设计的基础上,对系统的各个模块进行详细设计,结合流程图和类设计描述具体实现。最后对系统进行了测试和效果展示,系统达到预期效果。本课题设计的日志分析系统基于分布式架构,具有数据并行处理、自动备份、自动容错等优势。该系统克服了传统技术的计算速度慢、存储空间小等缺点,将大文件分块到分布式文件系统的各节点单独处理,分散服务器的压力,提供良好的备份和容错,执行效率大大提高。目前该日志分析系统已经在某公司正式应用。