【摘 要】
:
当今时代是一个信息大爆炸的时代,生产生活中的每一个角落充满各种各样的信息,企事业单位在信息获取上具有天然优势,是各种各样数据的拥有者。通过数据的高效共享,能够最大限
论文部分内容阅读
当今时代是一个信息大爆炸的时代,生产生活中的每一个角落充满各种各样的信息,企事业单位在信息获取上具有天然优势,是各种各样数据的拥有者。通过数据的高效共享,能够最大限度的挖掘出数据的潜在价值,有助于企事业单位科学管理、创新经营、长远规划。然而现有的数据共享系统存在着各种各样的弊端,要么技术老旧无法适应大数据时代的数据共享需求,要么价格高昂性价比低下,因此,一款支持采集各种异构数据,海量数据高效共享,满足流批一体化数据分析,且成本低廉的数据总线系统极为必要。本论文依托各种开源技术设计开发了一款基于Kafka的数据总线系统。对系统进行了需求分析,详细阐述了用户对数据采集、实时计算、数据转储、总线元数据管理、运维监测的功能需求和性能需求,给出了功能模块图、系统架构图、数据流程图,详细阐述了系统具体设计与实现,给出了核心算法与代码,系统完成后通过黑盒测试的方法,对照需求设计测试验证了每一个模块的功能与性能。系统采用微服务体系架构,在JVM开发平台下,以Flume为数据采集组件,Kafka为数据管道,kettle为ETL工具,Spring Cloud为微服开发实施框架,使用JAVA代码实现各个功能模块。
其他文献
经济全球化进程的深化使全球价值链对各国经济的影响越来越大,而产业结构调整是实现经济有效增长的重要形式。随着技术革命的深化,创新在各国经济发展中发挥着越来越大的作用
花卉苗木行业对建设花园城市,防风林与绿化带的种植有着非常重要的意义。近年来,在经济飞速发展和环保理念不断深入人心的形势下,人们对苗圃绿化植物的需求量快速增长。现有
“景观”是由实体的景物和抽象的群体认知共同组成的系统。与之对应,景观形塑的过程包含实体的开发营建和主观的文化建构,受到政治、经济等多重因素影响。景观研究作为考察明
党的十九大报告明确指出需要全面实施绩效管理。这表明绩效管理在企业管理中占有举足轻重的地位。作为绩效管理模块中的重要组成部分,绩效考核是选拔、奖励员工的重要方式,已
背景:类风湿关节炎(Rheumatoid arthritis,RA)是一种常见的慢性炎症性、自身免疫疾病,给患者造成了不可忽视的健康和经济负担,其主要发病机制为滑膜成纤维细胞(Fibroblast-li
最近,一种名为胶囊网络(Capsule Network,CapsNet)的新型神经网络引起了许多研究人员的关注。CapsNet是克服卷积神经网络缺点的一次伟大尝试,并且它在一些简单的数据集(如MNI
多标签分类在现实生活中应用广泛,多标签分类算法可以分为两类:(1)问题转化方法,将多标签分类问题转化成二分类或者多分类问题,然后使用多分类算法进行分类。(2)算法适应方法
随着遥感技术的不断发展,以及各类高分辨率的遥感平台的研发,遥感技术逐渐在科学技术、社会经济以及国防建设等领域发挥了重要作用。然而由于平台抖动、大气湍流等无法避免的
氢气作为一种清洁、可再生能源,在工业、生活中应用越加广泛,目前,许多国家正在大力推动氢能发展。然而,氢气无色无味且易燃易爆,因此,随着氢能应用范围扩大,为确保安全,需要