基于Spark的时态查询分析及索引优化

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wfj0808
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时态数据在现今许多应用场景中十分常见,随着数据量的增长,在时态大数据的处理场景下提供一个易用且具有高吞吐量和低延迟特性的机制变得尤为重要。国内外已有一些在时空数据库和基于集群计算的时间分析工具上进行的研究,但这些研究系统大部分都是基于外存的,一旦应用在大数据处理场景下,其性能将迅速降低。本论文基于目前流行的内存分布式计算框架Apache Spark构建了一个易用且高可扩展的时态大数据查询分析系统,通过扩展Spark SQL解析器使其支持类SQL形式的时态操作,并吸纳SIMBA开源项目的思路,引入了全局过滤和局部时态索引两种新的优化策略,使得系统能以高吞吐量及低延迟来执行时态查询操作,针对时态查询效率的评估实验显示,在不同影响参数下相较于原生的Spark SQL查询处理方案该系统具有更为优异的性能。
其他文献
冲击破岩掘进机是一款针对硬岩巷道破碎的新型掘进机,其功能有支护、破碎、装载、转运与行走,冲击液压系统作为冲击破岩掘进机工作机构的控制系统,其工作特性对机器的性能有
清洁发展机制技术转让存在发达国家意愿不足、发展中国家接受能力弱、转让程序烦琐、效率低下和信息不透明的问题,主要原因为相关国际法规则缺失,以及我国国内法不足和能力建
记者:作为战略学者,您最近提出在新的世纪,面对国际国内政治经济形式应急需确立和实施协调发展战略,这种提法的出发点是什么呢?
随着WTO的成立以及400多个区域贸易协定的签署,贸易自由化已变成全世界的共识。越来越多的国家打开国门参与国际经济合作,特别是众多发展中国家在参与国际化进程中,国内经济