【摘 要】
：
评述了MapReduce与Spark两种大数据计算算法和架构,从背景、原理以及应用场景进行分析和比较,并对两种算法各自优点以及相应的限制做出了总结.当处理非迭代问题时,MapReduce
【机 构】
：
合肥工业大学计算机与信息学院,SchoolofComputingandInformatics
【基金项目】
：
国家重点研发计划(2016YFB1000901);国家自然科学基金(91746209);教育部创新团队项目(IRT17R3)~~
论文部分内容阅读
评述了MapReduce与Spark两种大数据计算算法和架构,从背景、原理以及应用场景进行分析和比较,并对两种算法各自优点以及相应的限制做出了总结.当处理非迭代问题时,MapReduce凭借其自身的任务调度策略和shuffle机制,在中间数据传输数量以及文件数目方面的性能要优于Spark;而在处理迭代问题和一些低延迟问题时,Spark可以根据数据之间的依赖关系对任务进行更合理的划分,相较于MapReduce,有效地减少了中间数据传输数量与同步次数,提高了系统的运行效率.
其他文献
自改革开放以来,我国经济多年高速发展,但也积累了诸多问题,环境问题便是其中之一。为了有效地防治我国资源浪费、环境污染问题,我们需要运用如环境保护税这样的经济手段进行
【摘要】 高铁的高时速能够让GSM-R通信的接通率以及掉话率产生很多考验。本文以高速铁路的覆盖网络的情况出发，对于高速铁路的现状实现调整以及优化，主要针对覆盖类型和切换以及重选算法进行优化，对于高速列车的网络质量以及接通率的提升和掉话率的降低得到好的解决效果。本文的方案对于高速铁路系统的通信网路优化工作具有实用性以及指导性的意义。 【关键词】 GSM-R 接通率 掉话率 一、引言 铁路系统之
现阶段,部分施工单位在施工的过程中存在不按照规定编制工程预结算和对工程评估过高的问题,这些问题的存在致使工程造价虚高。因此,施工单位应该积极的提高工程预结算编制的
IgA肾病被认为是一种免疫介导的炎症性疾病,但其发病及进展机制尚未完全明确。目前认为IgA肾病的可能机制为糖基化缺陷的IgA1增多,与抗聚糖抗体结合为免疫复合物,沉积于肾小
本文基于目前国内外纳税遵从的不同测算方法,提出了运用组合预测方法进行测算的思路,并结合某市住宿行业的企业数据进行了实证研究。从不包容性和变异性等指标来看,与指标体
视频侦查是公安人员预防和打击违法犯罪行为的重要办案手段,是随着科学技术的发展而衍生出来的一种新的侦查技术。但是在实际办案活动中,违法犯罪分子会针对视频侦查采取一些