分布式事件流处理系统监测技术研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:yxhangyong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机制造技术和网络通信技术的飞速发展,计算机的处理能力得到不断提升,网络带宽也不断增大。随之而来的各色应用需求和复杂的应用环境,导致分布式应用系统趋于复杂,系统规模变的越来越大,系统运行情况越来越复杂多变,从而使系统的监控和管理越来越困难。分布式系统监测是分布式系统配置和管理的基础,对其各个子模块和计算节点在运行时刻的及时、准确的信息监测,是对其进行有效管理的前提条件。  本文以基于事件流引擎Esper的分布式事件流管理平台为背景,分布式事件流管理平台是一个典型的分布式事件流处理系统,研究这类系统的监测技术,为其相应应用模块(如任务调度、负载均衡)提供实时决策帮助。针对这类监测应用所具有的实时性、时效性等特点,本文在国内外已有分布式系统监测的研究基础上,提出了一种基于事件流引擎的分布式事件流管理平台监测框架,为海量监测信息事件流提供即时高效的处理。该监测框架采用基于JMX的在线监测管理方法,保证整个系统能够进行运行时的自动配置与管理。本文主要研究工作和贡献包括:  1)针对分布式事件流管理平台的监测需求,完成了基于事件流引擎的监测框架设计。  2)根据监测对象的不同。设计了两种监测组件,采用MBean规范与AOP技术结合的方式,保证了应用监测组件的监测代码与业务逻辑分离,并使其同时具有可扩展性与可配置性。  3)针对事件流处理过程中多事件流处理可能出现的乱序问题,提出了基于时间滑动窗口的乱序处理方法,优化了事件流引擎Esper中对事件关联的处理算法。  4)在此基础上实现了分布式事件流管理平台监测系统原型,实验表明本文所提出的解决方案能够很好地满足分布式事件流管理平台的监测需求,提高其监控和管理水平。
其他文献
随着Internet的发展,以Web服务及面向服务架构(SOA,Service-OrientedArchitecture)为代表的分布式计算技术得到了快速的发展,受到学术界和企业界的广泛关注。随着Web服务数量的
随着计算机技术与其他行业的结合越来越紧密,模型的重要性也日益显现,其中数学模型在辅助决策过程中的应用尤其广泛。但是很多模型只专注于算法的精确性,而对用户界面考虑较少,甚
随着互联网的发展和金融市场的完善,较多的投资者开始在网上进行金融投资活动。金融领域中的许多重要信息,如新股的大量公司财务数据等,大都是存放在PDF文件内的表格里,通过各大
无线多媒体传感器网络(Wireless Multimedia Sensor Networks,WMSNs)作为一种新型的无线传感器网络,正在越来越多的被应用到对目标环境的多媒体监控当中。与传统的无线传感器网络
视觉是人类认识自然和改造自然的重要工具。让机器具有视觉功能是一项很有意义的工作,其原理是从图像中获取三维空间场景信息,通过数字图像处理算法和智能分析算法,对它进行描述
随着网络的高速发展,网民数量的不断攀升,各种网上服务行业也随之发展起来并逐渐普及。如今,在线购物、网上支付等基于网络的经济活动逐渐走进了人们的生活,其所带来的支付安全问
高校信息化建设的大力发展推动了源代码在线评测软件由单一的竞赛平台转向多功能的教学辅助系统。但是在这一过程中,并非所有的源代码在线评测软件都能够良好的应用于教学研究
随着移动互联网技术的日益成熟,移动终端如智能手机、个人电脑、PDA等数目逐年递增,普及率也越来越高。越来越多的人希望能够随时随地地进行通信,享受高质量的网络服务。移动自
移动互联的时代随之到来,触摸屏在移动终端的应用也越来越广泛,这样移动设备上的汉字输入模式不再仅仅是拼音输入和笔画输入,因为手写输入在触摸屏上显得更加简单和快捷;但是
在基于位置服务数据的数据挖掘研究中,数据处理能力已经成为了分析的瓶颈。虽然基于MapReduce计算模型人们可以通过多机并行相对快速地完成计算,但是由于MR模型对数据结构及任