日志分析系统的任务调度方法研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:zhouyulu1200
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网与信息技术的不断发展,信息系统规模变得越来越庞大,如何对系统运行时的性能、业务数据、网络负载等情况进行监控分析成为了当前迫切需要解决的问题。而计算机日志作为系统的真实写照,记录了系统运行过程中发生的各种事件以及其对应的时间和产生的结果,因此,通过对日志进行分析,可以挖掘日志中蕴含的关键信息,为用户提供各方面的数据服务。日志分析系统作为日志分析的一整套解决方案由多台服务器构成,通过网络的协调同步共同完成日志分析。其面向海量的日志信息,通过实时的对日志进行分析为用户提供服务。日志分析系统周期性的产生众多日志分析任务,它们在系统的调度下分派到适合的计算节点执行。日志分析任务具有计算量大、时效性强、准确性高等特点,其性能决定着整个系统的成败。本文通过日志分析系统的模块结构介绍,明确了任务调度模块在整个系统中的核心作用,并提出完成一个高效任务调度模块需要实现的目标。本文从任务调度理论与作者亲身参与开发的一款日志分析系统出发,总结了现阶段系统任务调度模块存在的缺陷,并在此基础上提出一种改进型的日志分析系统任务调度方案。方案分别从架构和算法两方面展开设计,其中架构方面借鉴集中式调度思想,创新性提出在Master-Slave架构中增加任务收集层,形成Collector-Master-Slave三层次调度架构,新方案在降低Master负载同时也增强了系统的可扩展性;同时为Slave添加的监控子模块为计算节点提供了更完善的负载均衡策略。算法方面,本文将传统调度系统中采用的蚁群算法进行了适当的改进和完善,增加了负信息素、动态启动、参数自适应等功能使其更加适应日志分析任务特征。在实现方面,本文采用了JAVA高级程序设计语言,并利用现有的成熟产品,如Zookeeper、MINA等实现了调度的主体框架,并通过模拟日志分析场景验证了此方案的可行性。本文的设计方案提高了日志分析系统执行效率,降低了系统硬件成本,增强了系统稳定性,有较强的实践指导意义和应用价值。
其他文献
科技创新是推动经济发展和社会进步的核心动力,世界各国都把推动科技创新作为提高国际竞争力的重要手段。党的十八大将实施创新驱动发展战略提到国家战略层面,强调要坚持走中国
德国是世界印刷强国,中国是世界印刷大国,两个国家在印刷产业上具有较强的互补性并且已在不同程度上开展了产业对接合作。但事实表明,实践中有相当一部分合作是失败的。如何促进
随着社会经济的全球化、竞争压力的日益增加和市场需求的多样化,逐渐形成了集采购联盟、生产联盟和销售联盟一体化的供应链。供应链具有典型的网络结构,网络的规模巨大,网络中各个节点间的相互作用十分复杂,可以采用复杂网络的理论和方法对其进行定量分析,即把微观和宏观性质联系起来,预言复杂系统丰富的整体行为,关注个体间的微观作用所导致的系统宏观现象,侧重从宏观角度去分析一个节点和整个网络之间的关系。本文基于复杂