分布式环境下时态大数据的分析研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:huishou2088
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时态数据是无处不在的,现如今海量的时态数据正在被生成。海量时态数据的管理非常重要,并且具有挑战性。面对海量的时态数据,分布式系统是一个不错的选择。然而,现有的分布式解决方案或者尚不能原生地支持时态大数据查询,或者因基于磁盘而存在I/O瓶颈,不能满足时态大数据高效率和可扩展性的处理需求。本论文提出了一个分布式环境下基于Spark的二级索引系统框架以处理时态大数据。其使用全局索引——局部索引结构,在有效过滤候选分区的同时,使用局部索引算法加速分区内时态数据的检索,显著提高了时间旅行、时态聚集和时态连接等时态操作的查询效率。此外,为了更有效地使用全局索引,我们设计了时态数据分区算法,优化候选分区的过滤。通过充分的实验对比,实验结果表明该系统框架可以提供低延迟和高吞吐量的时态大数据查询。
其他文献
随着基于光伏和风电等可再生能源的分布式发电飞速增长,并网逆变器在电力系统中得到越来越广泛地使用。并网逆变器根据应用环境和控制目标的不同可以分为有功/无功功率控制型
超级电容器因为功率密度高,充放电速率超快并且理论使用寿命远高于二次电池等吸引了越来越多的关注,人们越来越重视超级电容器尤其是可穿戴超级电容器设备的设计开发,在这些
为满足某型号导弹长时间超声速巡航飞行战术技术指标要求,论文采用理论推导、仿真分析和试车台试验三者相结合的方法,围绕流量可调固体冲压火箭发动机的推力调节控制技术开展
测试技术中传感器信号放大技术一直是业内研究的主要方向,对于传感器检测信号核心部件响应单元效率提升的研究是很有必要的。因此本文建立了一种新的非对称变截面悬臂梁机电
果糖激酶(Fructokinase,FRK)能磷酸化果糖,是果糖分解代谢途径中很关键的一类酶,广泛存在于细菌和动植物中。研究发现,植物FRK家族基因在其正常生长发育和逆境适应中都具有重
LIPS-300离子推力器是我国新型高功率栅极离子推力器,其束流引出装置采用30cm直径三栅极组件结构设计。试验结果表明,三栅极结构设计能够满足推力器各项性能指标要求。但还存
刺丝囊是刺胞动物门(Cnidaria)所特有的细胞器,也是刺胞动物的分类依据。本文以刺胞动物门水螅水母类(Hydroidomedusa)的帽铃水母(Tiaricoddon coeruleus)和细小多管水母(Aeq
北京,地处华北平原,是中国历史上重要的五朝古都,自明清以来成为中国的政治文化中心。进入近代,封闭的北京城被迫打开,西方列强纷纷于东交民巷建立使馆区,从此开启了北京地区中西方建筑文化交流融合的过程。随着使馆区的兴建,银行建筑第一次出现在北京,而后由于民族资本主义的发展,华资银行逐渐增多。从此,银行逐渐代替了当铺、钱庄、票号等传统金融机构。作为新式金融的实物载体,近代银行建筑自诞生之日便以高质量的设计
下凹式绿地是“海绵城市”建设雨水利用技术措施之一,广泛应用于城市道路周围及小区以及公园内等。其利用设计的下凹式空间充分收集雨水,增加了雨水下渗需要时间和下渗水量,
以喷注混合与燃烧稳焰作为主要研究对象,研究超声速燃烧室的典型的流场结构。基于LES程序数值模拟,分析射流凹腔相互作用机理与并联突扩凹腔燃烧流场的燃烧特性。首先,基于LE