后勤数据资源管理系统的研究与实现

来源 :中国电子科技集团公司电子科学研究院 | 被引量 : 0次 | 上传用户:hyflover
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化的发展中,很多企业都产生了围绕各种业务的数据,为了能够将发掘出这些数据的价值,就需要通过一些技术手段来处理分析这些数据。某特殊传统企业后勤部门在信息化过程中数据量增加迅速,数据类型丰富,业务系统众多,所以需要一个高性能的数据资源管理系统来储存管理并分析这些数据。本文通过分析了企业在发展后勤信息化的过程中所遇到的业务繁多数据复杂的问题,提出了构建后勤数据资源管理系统的方案来解决这个问题。首先对在建立后勤数据资源管理系统中所需要的关键技术和方法进行了研究分析,其中包括基于Hadoop平台的分布式文件系统和MapReduce计算框架,Hive处理工具以及用于优化数据处理效果的Spark计算引擎。根据业务的需求设计了系统的架构,设计并实现了三个模块:数据集成模块、数据存储分析模块和数据可视化模块,主要基于MapReduce的计算框架并结合Sqoop技术,对源数据进行抽取并存储,然后使用HiveQL对数据进行查询,并进行展示,其中数据的存储分析模块是本课题研究的重点,因此本文提出了基于Spark计算引擎的数据处理方式来对系统进行优化,通过构建MapReduce和Spark双引擎的方式来提升数据的处理效率和使用的便捷性。最后设计了两大类实验,一类是对部分数据进行查询分析,其结果表明该系统能够满足后勤部门的数据查询分析的实际需求,另一类实验则对比了基于MapReduce计算框架和基于Spark集群两种环境下在数据处理方面的效率,验证了系统优化方案的可行性。
其他文献
在经济全球化的背景下,人民币国际化程度不断加深,人民币在岸市场与离岸市场紧密性日益加强。然而在发展历史、定价机制、资本流动等方面,目前两个市场之间仍存在较大差异性,
在金融领域改革逐步深入的背景下,利率市场化的基本完成是其中重要的一环,有利于充分发挥市场机制,在资本层面助推着当前实体经济的发展。本文利用2007-2017年沪深两市A股上市公司数据,考察改革进程中企业融资所受的影响,并进一步引入了企业生命周期概念。通过实证表明,市场化改革的推进在松释企业融资压力方面能起到显著的积极效果;在考虑企业生命周期规律后,这种作用仍然存在,且突出表现于企业成熟期的融资中。
本论文将研究视角集中于小说语言的理论层面,力图将它诸多分散的理论掇拾提炼,试加评析,做出较为系统、完整的阐释。语言是思想的外显和表达,语言无论行走于何处总是带有文化
目的:评价中药抗痘香皂辅助用于防治痤疮的临床疗效及安全性,检测其对面部皮肤生理性指标如水分、弹性、色素等的影响,并对患者治疗前后生活质量积分进行比较,为临床使用提供理论依据,为痤疮的防治提供新的方法。方法:将入选的120例患者随机分为治疗组和对照组。治疗组60例每日早间及晚间均使用中药抗痘香皂清洁面部,晚间洁面后于痤疮处均匀薄薄涂抹一层0.1%阿达帕林凝胶。对照组60例每日早间及晚间均使用清水清洁
广州翠湖山庄中心庭园——万象翠园,其设计体现了风格和文化上的多样性,以及以人为本的设计理念。而景观营建过程中根据现状所作的深化与调整,以及合理的施工方案与精湛的施
石南A集中处理站在污水处理系统和原油系统中发现大量硫化氢气体,给生产带来严重安全隐患.通过对处理站污水处理系统和原油系统产生硫化氢的机理进行调查,确定硫酸盐还原菌(SR