多粒度日志自动解析方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:dysongbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算和大数据的普及,越来越多的开发人员构建自己的系统。几乎每个系统或软件都会将服务运行信息写入到系统日志里。这些日志旨在用于记录开发阶段和正常操作,以便调试和理解复杂系统的行为。分析日志能够帮助运营人员了解系统的状况,辅助管理人员进行故障检测、性能优化等方面的工作。因日志格式多样性等方面的原因,自动化日志分析技术无法直接应用于数据挖掘或机器学习方法,因此对日志进行分析的前提是将无结构化的日志转化成结构化的事件,这种从日志到事件的映射过程称为日志解析。本文针对日志解析工作进行研究工作,主要的研究内容如下:(1)本文首先通过系统日志的特点进行分析,提出一个自适应在线日志解析方法,该方法能够针对不同的系统日志进行参数的自适应调整,通过挖掘日志之间的相似结构来达到提取事件的目的,通过与其它四种解析方法在六种日志数据集上的解析结果进行比较,验证了该方法的有效性和高效性。(2)本文在自适应在线日志解析方法的基础上,提出事件层次化的概念,通过构建事件层次树为运营人员提供从粗略到精细的视图,并结合日志对象的异常检测方法提供了在事件层次上选择事件节点的方法。通过与包含第三章提出的日志解析方法在内的五种日志解析方法进行比较发现,该方法可以进行一步解决事件具有不同长度日志的问题,同时通过异常检测实例验证事件节点选择方法的合理性。(3)本文最后将日志解析方法进行了补充和应用。一方面对自适应在线日志解析方法进行了补充,改进的算法在企业级数据集上进行测试表现出良好的性能。另一方面对解析事件应用到实际的生产环境中,通过分析和改进T-pattern的不足来获取事件之间的依赖关系和对应的时滞区间,并通过实验验证了算法的合理性。
其他文献
依据单位资本存量工业增加值(=工业增加值/工业资本存量)和单位资本存量工业产能(=工业产能/工业资本存量)之间的关系,在单位资本存量工业产能是年度的线性函数的假设下,提出利用单位
<正>教学目标1.知识技能目标:理解乘方的意义及相关概念;掌握乘方的符号法则并能进行乘方运算.2.过程与方法:经历由乘法类比引入乘方的过程,体会数学知识的内在联系;渗透类比
新闻记者作为媒体人,作为重要的媒体力量,在推动文化产业整体发展中起着重要作用。因此,加强新闻记者职业素养及社会责任的培养意义重大。
在世界艺术史中,肖像画是绘画门类中最重要的组成部分之一,随着文艺复兴时期“自我”意识的觉醒,从此自画像的作品的艺术价值也越来越受人瞩目,受到全球各地艺术家与艺术收藏者们的重视和青睐。与此同时,伴随着自画像艺术发展到艺术潮流前沿的还有其中越来越明显的模糊性,自画像中模糊性的理论依托是拉康的“镜像”理论,所以自画像才会在不同的发展阶段呈现不同的“自我”特征。从文艺复兴时期的自画像开始表现主体理想的我(