Apache Spark:大数据处理统一引擎

来源 :电脑编程技巧与维护 | 被引量 : 0次 | 上传用户:gusano1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark的通用性有几个重要的好处。(1)应用程序更容易开发,因为它们使用统一的API。(2)结合处理任务更有效;而先前的系统需要将数据写入存储以将其传递给另一个引擎,Spark可以在相同的数据(通常在存储器中)上运行不同的功能。(3)Spark启用了以前系统无法实现的新应用程序。自2010年发布以来,Spark已经发展为活跃的开源项目或大数据处理。
其他文献
产业转移在促进不同区域协调发展的同时,也给产业承接地带来诸多经济风险。采用完全信息动态博弈模型,分析并指出在谈判之初产业承接地的高经济风险地位就已形成。在此基础上
我国水资源供需不匹配,其中南方水多北方水少,调水工程的建设对改善我国北方水资源短缺、优化水资源配置意义深远。南水北调中线多为明渠输水,干渠上桥梁与水工建筑众多,存在
气候变化给人类社会带来了重大的影响,世界各国加紧应对气候问题。作为社会经济的支柱产业,航空业受到了越来越多的关注。而国际航空运输跨国界的特点使得应对国际航空排放的
为了解高校学报的办刊现状、特征和存在的主要问题,对广东省不同类型的高校学报的管理模式、隶属关系、建制、编辑定位、工作方式、财务管理方式和经营情况进行全面的调研,分析
本课题采用等体积浸渍法,利用粉煤灰作为载体制备了负载铜离子以及同时负载铜离子和锰离子的非均相CWPO催化剂,实验研究了两种非均相CWPO催化剂的制备条件及其对亚甲基蓝氧化
中国作为后发国家具有后发劣势,即在制度建设方面迟滞所造成的对高新技术产品贸易发展的瓶颈作用。文章分析了我国与高新技术产品贸易息息相关的知识产权制度的缺陷,提出了实施