【摘 要】
:
基于Hadoop+MPP大数据技术构建城市轨道交通线网数据中心具有明显的优势。不仅具有PB级的海量存储容量,支持多源异构数据接入,而且具备强大的实时与离线数据处理能力,能够为线网各应用系统提供全面而丰富的数据支撑;并可与云技术融合,构建完整的DaaS(数据即服务)层,支撑上层SaaS(软件即服务)的各类业务云应用。本文在实际项目需求的基础上,从软硬件架构、数据处理流程等方面全面探讨了基于Hadoo
论文部分内容阅读
基于Hadoop+MPP大数据技术构建城市轨道交通线网数据中心具有明显的优势。不仅具有PB级的海量存储容量,支持多源异构数据接入,而且具备强大的实时与离线数据处理能力,能够为线网各应用系统提供全面而丰富的数据支撑;并可与云技术融合,构建完整的DaaS(数据即服务)层,支撑上层SaaS(软件即服务)的各类业务云应用。本文在实际项目需求的基础上,从软硬件架构、数据处理流程等方面全面探讨了基于Hadoop+MPP大数据技术构建城市轨道交通线网数据中心系统的实施方案。
其他文献
高考作为基础教育和高等教育的连接,为国家和民族夯实根基,一方面对社会主义新时代中学教育下学生要达到的素养作出要求;另一方面依据不同层次水平高等院校、跨距相当大的各专业培养人才所需的知识能力素养基础,制定选拔标准。科学的命题是高考诸环节中最基础的部分,教育部在2019年发布《中国高考评价体系》,构建起“核心价值、学科素养、关键能力和必备知识”在内的高考考查内容体系。高考试题对高考评价体系的体现程度需
通过围绕云计算环境下的Hadoop架构,以Hadoop分布式系统、MapReduce模型、HBase数据库作为基础,建构起Hadoop框架的改进K-means聚类挖掘算法,对原有的聚类分析构造函数作出改进,并针对网络热点话题进行数据要素提取、分析模型建立,完成不同数据项集的仿真实验,得出在改进K-means聚类算法下的系统采样范围、准确率等的数据挖掘结果,得出该算法更适合于云计算下数据挖掘分析的结
依据高校历年在校数据,包括学生基本信息、奖助贷、成绩、心理测评及谈话记录等多源异构数据,采用Apriori算法找出矩阵中的繁项集及强相关项,并以Smote-Enn算法处理数据不平衡,而后采取XGBoost模型构造预测模型。通过借助Hadoop分布式平台在海量数据处理上的优势,从而提高了算法预测的效率及实用性,提出了基于Hadoop多源异构心理危机预测模型,提高了心理危机预测的计算效率,进而增强了预
以热失控为本质的锂离子安全问题一直困扰着电动汽车的发展。传统的实验研究真实性和可重复性不可兼得,成本较高。COMSOL作为一款多物理场仿真软件,已经被用于各种各样的与锂离子电池有关的研究。本文根据应用场景的不同,对COMSOL在锂离子电池热特性发面的研究进展进行综述,主要分为外部不同工况、辅助散热以及内部组件设计三个方面。
目的:观察循证护理为基础的手术护理路径在腹腔镜胆囊切除术患者中的应用效果。方法:纳入100例腹腔镜胆囊切除术患者,采用随机数字表法对患者进行分组,并给予不同的护理方案:观察组50例患者予以循证护理为基础的手术护理路径护理,对照组50例患者予以常规护理,比较不同护理方案对患者的影响。结果:观察组患者肠鸣音恢复时间、术后通气时间、总住院时间及术后心理状态指标(焦虑、抑郁)评分明显优于对照组(P<0.0
共同体意识作为维系特定群体的意识形态,是与特定群体的共同物质基础密切联系的。作为人类物质和精神文明的聚合体,城镇在民族形成发展进程中扮演着重要角色。新中国成立以来,一直在探索通过现代城镇建设,建成现代化国家,实现中华民族伟大复兴。改革开放以来,特别是党的十八大以来,我国现代化不断提速,城镇建设取得历史性成就。各族群众在新型城镇的建设过程中,实现了大交往、大交流、大交融。随着“十四五”规划推进实施,
为了提升信息加密密钥敏感性以及加密加速比,提出基于大数据技术的智慧后勤信息动态加密方法.基于分层规划理念构建智慧后勤信息化系统;使用Logistics超混沌序列重组大数据结构,利用算数密码体制重新编码Logistics序列数据,动态混合加密密文和明文序列;提取结构重组后大数据的关联规则属性量,利用Rossle实现大数据的混沌映射分组加密优化处理;应用Hadoop大数据平台中的MapReduce并行
煤制烯烃行业中基于MTO技术的特殊性,反应器中的催化剂细粉随工艺气进入水系统中,并在较高水温下板结结垢,造成急冷水洗塔塔盘堵塞,同时也会堵塞急冷水换热器和空气冷却器等换热设备,致使换热效率下降,导致系统热量失衡,从而有跳车风险。MTO急冷水除固技术利用急冷水沸腾床过滤技术,大大降低了急冷水中的固含量,减少换热器清洗频次,对实现甲醇制烯烃装置长周期稳定运行具有重要意义。
针对网络流量的急剧增加,导致网络集群中存在异常节点,降低了网络的运行效率等问题,提出基于Hadoop的动态网络异常节点智能检测方法。对Hadoop的生态体系结构进行分析,并详细描述了HDFS、MapReduce和NetBASS框架。采用Zipf排名分布对网络节点总流量进行统计,通过标准差系数对节点参数的稳定性和离异程度进行评价。为了使聚类效果更加稳定,使用新的均衡化函数作为数据的收敛函数。将异常节