网络实时分析系统的分析平台设计与实现

被引量 : 3次 | 上传用户:huangxiaojie33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络信息的急剧膨胀,给网络的管理也带来了前所未有的挑战。传统的网络管理软件有扩展性差,分析网络数据方式固定化,用户无法自定义数据分析方式等问题。针对以上问题,本文提出了一种支持海量数据实时处理的网络分析系统和方法来弥补这个领域的不足。针对现有网络分析软件存在的缺陷,本文提出一种基于“流水线”思想的网络分析系统平台的设计方案。同时,该方案结合P2P技术和事件处理机制等进行设计和实现。该平台的工作方式类似于“流水线”,每个数据分析流程由若干个相对独立的数据分析节点来一环扣一环的逐步分析完成;其底层的各数据分析逻辑间通过统一的事件机制来通信协作。同时,为了实现用户自定义数据分析方式,系统增加逻辑管理模块,用户通过扩展通用的模板接口,可以非常方便的完成自定义数据处理的需求。为实现上述设计,本文通过两种数据节点完成系统的功能:数据适配节点和数据分析节点。数据适配节点主要完成数据和内部事件之间的适配。数据分析节点是来完成数据分析任务,我们使用数据分析节点的可扩展性和可自定义处理逻辑性来完成流水线的搭建,完成数据的监视分析等操作。本文通过类图和流程图两种方式展开实现的阐述。最后通过网络数据包超时的实例测试,完成功能的校验及性能的测试。本文阐述的方案特色:1、用户可以根据自己的要求,通过我们提供的接口自定义数据分析逻辑,将其注入容器,即可生效;2、本系统可以通过动态扩展节点来提高性能的要求。由于有流水线的作业方式和事件路由机制提供的支持,只需要积木式的增加服务器,数据适配节点就会动态的将负载转移到新增加的服务器上,从而到达动态扩展节点来提高性能的要求。
其他文献
很多消费者都有购买品牌产品的意愿,但是有限的购买能力促使许多消费者只能购买仿冒品.虽然仿冒品可以满足消费者的需求,但是仿冒品会给使用者带来一定的负面影响.利用消费者
随着计算机技术的发展,信息规模与日俱增,信息的组织形式也变得越来越复杂。人类正面临着“被信息所淹没,但却饥渴于知识”的信息过载困境。因此,数据挖掘,作为一种从海量信
刑法中的犯罪,如果按犯罪主体是否具有特殊身份划分,可分为身份犯和非身份犯两种。在单个自然人犯罪场合,身份犯与非身份犯的界限相对清晰,因为构成身份犯罪的只能是具有特殊身份
自古,婚约、彩礼的现象在我国就普遍存在,由此引发的社会问题更是层出不穷。通过界定婚约、彩礼的法律属性,分析我国目前婚约制度中存在的法律缺陷,提出了相关的完善措施。
财务活动是企业经营活动的一个重要方面。在经营环境愈加复杂、竞争日益激烈的当今社会,企业财务活动中也面临着更多的不确定性,对财务风险进行管理与控制也成为企业财务管理
纳米技术的不断发展为纳米材料在力学、磁学、电学、热学和光学等方面的研究和应用提供了广阔的道路。光学应用研究中,具有生物标记、示踪成像功能的半导体荧光量子点纳米材
语文教科书作为母语教材最主要的组成部分,是教师“教”和学生“学”最基础的凭借工具。按照顾黄初先生的说法,语文教科书内部一般都包含着范文、知识、作业和导学四个系统。随
在国家大力推进三网副合的背景下,网络融合下的信息安全问题越来越突出。伴随网络及时性、迅捷性、互动性、分布式、共享式的优点也将出现的大量网络滥用行为,如垃圾信息问题
本文对9件敦煌文书的年代作了考证,认为这些文书所记载的翟使君和使君为同一人。这位翟使君是10世纪末期归义军府衙中非常重要的人物。
我国近四十年来的持续快速的经济增长主要得益于1978年以来的改革开放政策。在这一渐进式改革过程中,最重要的方面在于对计划经济体制下的国有企业进行产权制度改革,逐步建立起