论文部分内容阅读
随着计算机制造技术和网络通信技术的飞速发展,计算机的处理能力得到不断提升,网络带宽也不断增大。随之而来的各色应用需求和复杂的应用环境,导致分布式应用系统趋于复杂,系统规模变的越来越大,系统运行情况越来越复杂多变,从而使系统的监控和管理越来越困难。分布式系统监测是分布式系统配置和管理的基础,对其各个子模块和计算节点在运行时刻的及时、准确的信息监测,是对其进行有效管理的前提条件。 本文以基于事件流引擎Esper的分布式事件流管理平台为背景,分布式事件流管理平台是一个典型的分布式事件流处理系统,研究这类系统的监测技术,为其相应应用模块(如任务调度、负载均衡)提供实时决策帮助。针对这类监测应用所具有的实时性、时效性等特点,本文在国内外已有分布式系统监测的研究基础上,提出了一种基于事件流引擎的分布式事件流管理平台监测框架,为海量监测信息事件流提供即时高效的处理。该监测框架采用基于JMX的在线监测管理方法,保证整个系统能够进行运行时的自动配置与管理。本文主要研究工作和贡献包括: 1)针对分布式事件流管理平台的监测需求,完成了基于事件流引擎的监测框架设计。 2)根据监测对象的不同。设计了两种监测组件,采用MBean规范与AOP技术结合的方式,保证了应用监测组件的监测代码与业务逻辑分离,并使其同时具有可扩展性与可配置性。 3)针对事件流处理过程中多事件流处理可能出现的乱序问题,提出了基于时间滑动窗口的乱序处理方法,优化了事件流引擎Esper中对事件关联的处理算法。 4)在此基础上实现了分布式事件流管理平台监测系统原型,实验表明本文所提出的解决方案能够很好地满足分布式事件流管理平台的监测需求,提高其监控和管理水平。