论文部分内容阅读
随着云计算和大数据的普及,越来越多的开发人员构建自己的系统。几乎每个系统或软件都会将服务运行信息写入到系统日志里。这些日志旨在用于记录开发阶段和正常操作,以便调试和理解复杂系统的行为。分析日志能够帮助运营人员了解系统的状况,辅助管理人员进行故障检测、性能优化等方面的工作。因日志格式多样性等方面的原因,自动化日志分析技术无法直接应用于数据挖掘或机器学习方法,因此对日志进行分析的前提是将无结构化的日志转化成结构化的事件,这种从日志到事件的映射过程称为日志解析。本文针对日志解析工作进行研究工作,主要的研究内容如下:(1)本文首先通过系统日志的特点进行分析,提出一个自适应在线日志解析方法,该方法能够针对不同的系统日志进行参数的自适应调整,通过挖掘日志之间的相似结构来达到提取事件的目的,通过与其它四种解析方法在六种日志数据集上的解析结果进行比较,验证了该方法的有效性和高效性。(2)本文在自适应在线日志解析方法的基础上,提出事件层次化的概念,通过构建事件层次树为运营人员提供从粗略到精细的视图,并结合日志对象的异常检测方法提供了在事件层次上选择事件节点的方法。通过与包含第三章提出的日志解析方法在内的五种日志解析方法进行比较发现,该方法可以进行一步解决事件具有不同长度日志的问题,同时通过异常检测实例验证事件节点选择方法的合理性。(3)本文最后将日志解析方法进行了补充和应用。一方面对自适应在线日志解析方法进行了补充,改进的算法在企业级数据集上进行测试表现出良好的性能。另一方面对解析事件应用到实际的生产环境中,通过分析和改进T-pattern的不足来获取事件之间的依赖关系和对应的时滞区间,并通过实验验证了算法的合理性。