【摘 要】
：
互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问
论文部分内容阅读
互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。
其他文献
地聚物材料属于脆性材料,为了提高其韧性,以偏高岭土、水玻璃、聚氧化乙烯(PEO)为原料,首先将PEO高分子材料适量插入偏高岭土层片中,再通过碱聚合反应,形成地聚物基复合材料,
我国国有企业是一个特殊的群体,兼有企业和公共组织的双重特点,它作为计划经济的主要产物,随着国家政治经济生活的变化而变化。改革开放以来,它从一个上级计划的执行者完成者
目的:通过系统化的整理以及规范化的临床研究,对艾灸红外治疗床治疗寒湿型腰肌劳损病的安全性及临床疗效做出客观的评价,形成该疗法的技术规范,为艾灸结合短波红外线照射治疗
伴随着我国司法改革步伐的加快,刑事和解制度作为解决轻刑案件纠纷的一种思路,逐步彰显了效率、公平的司法理念,完全适合我国目前社会主义法治国家以人为本、和谐社会的宗旨,
现代舞自20世纪初进入中国,至今有100多年历史,但由于建国以前复杂的社会环境和文化变革,导致现代舞在中国的发展不如西方国家那样具有持续性和连贯性。改革开放以前,舞蹈和
稽留流产是流产的一个特殊类型，在诊断、治疗及并发症等方面均与其他类型流产有所不同。既往在治疗上多采用清官术或钳刮术，此法患者痛苦大，术时操作比较困难，并发症发生率也较高
城市的大步伐发展造成居民出行需求的激增,给拥有城市“血液与骨骼”之称的城市交通系统带来了极大挑战,在这种情形下,社会的快速发展与城市公共交通范围的不断扩大两者相互
目的研究探讨癫痫并发偏头痛患者的临床特点。方法选取我院2013年8月~2016年1月收治的癫痫并发偏头痛患者50例进行研究,作为观察组,同时将在这段时间来我院就诊的单纯癫痫患
桥梁结构的健康状态对于交通运输乃至国民经济发展都有着重要影响,如何实现对桥梁结构损伤部位的定位和损伤程度的判断,以便及时加以修护是当前桥梁健康诊断领域的研究热点。