【摘 要】
:
随着物联网、5G和人工智能等技术的发展,在类似于网络安全态势感知、智能制造、智慧城市这样的综合性信息应用系统中,对不同来源的异构时序性日志数据的需求呈现爆炸式增长。传统数据库系统无法应对这些海量异构数据的统一存储要求,HBase作为一种分布式列族数据库,因其具有良好的可扩展性,可以解决该类应用场景中的海量数据存储问题。目前HBase所采用的分区存储机制以及相关负载均衡策略,能让各RegionSer
论文部分内容阅读
随着物联网、5G和人工智能等技术的发展,在类似于网络安全态势感知、智能制造、智慧城市这样的综合性信息应用系统中,对不同来源的异构时序性日志数据的需求呈现爆炸式增长。传统数据库系统无法应对这些海量异构数据的统一存储要求,HBase作为一种分布式列族数据库,因其具有良好的可扩展性,可以解决该类应用场景中的海量数据存储问题。目前HBase所采用的分区存储机制以及相关负载均衡策略,能让各RegionServer上Region数目大致相同,但各Region上数据访问请求不均等,容易引发数据负载倾斜问题,从而极大地影响其读写性能,无法有效的应用到上述应用场景中。本文以高效能的海量多源异构时序数据存储为应用场景,对HBase中负载倾斜问题进行分析研究。针对数据访问请求负载不均衡问题,本文设计了一种基于用户访问行为预测的分布式数据存储策略。该策略在HBase原有分区存储基础上,通过对用户访问行为的建模,可实现对数据冷热性的预测,并结合数据相关时空特征的Rowkey装配方案,完成对数据的冷热分层分区存储,从而将系统数据访问请求负载均衡化。针对热点数据索引负载不均衡问题,本文改进现有二级索引构建策略,通过修改索引以及主数据的Rowkey前缀值,实现索引数据与对应主数据同步存储在相应Region中,最终实现索引数据访问请求负载均衡化。结合以上策略和算法,本文设计和实现了一个面向多源异构时序数据的分布式存储原型系统,并给出了相应设计和实现细节。最后本文利用KDD CUP 99网络入侵检测安全数据集,通过模拟用户访问行为生成相应负载数据集,搭建实验平台对算法和系统可行性进行了测试。实验结果表明,相对于现有单表HBase和具有预分区策略的HBase,PUB-HBase能够在保证数据均匀分布的前提下,在各节点间有效分散数据访问请求,从而有效缩短用户对热点数据查询耗时,以及降低系统因数据负载倾斜而产生额外I/O开销。
其他文献
随着中国经济的发展,尤其是国家对文化软实力的重视,中国丰富的人文景观以及优美的自然风光引得越来越多的外国友人纷至沓来。由于旅游产业的蓬勃发展,对于旅游陪同口译人员的需求也是与日俱增,口译员在中外文化交流的过程中起着至关重要的作用。本篇报告旨在探究如何将释意理论应用在导游陪同口译中。释意理论认为口译的对象是意义而非语言。这就要求译者必须专注于意义的理解与表达,而不是寻求语言形式的对等。且译员不必拘泥
本文关注低合金高强钢在海洋大气环境中的应力腐蚀(SCC)问题,通过基于SCC机理的微合金元素设计来降低海洋工程中低合金高强钢的SCC风险。首先采用真空冶炼和热机械轧制技术制
随着文本数据的不断增加,越来越需要使用自然语言处理技术来处理文本信息。多数中文自然语言处理任务要先进行分词才能进行下一步处理,分词结果对后续工作有很大影响,所以中文分词成为自然语言处理的基础任务。中文分词技术不断进步,从词典规则方法到统计学习方法,再到深度学习方法,分词中的难题不断被解决。深度学习方法是现在中文分词的主流方法,解决了统计学习方法中特征工程的问题,主要采用的结构是双向长短记忆网络,这
随着互联网大数据时代的到来,图像数据作为其中重要的数据形式得到了大规模的增长。面对如此庞大的图像数据,如何快速且高精度的对其进行高效检索,进而满足用户对感兴趣图像的快速浏览和查询需求,是目前亟待解决的问题。深度学习是大数据时代应运而生的产物,是人工智能领域必不可少的关键技术,并且可以有效地从大数据中自动学习特征。同时,图像分类技术可以在一定程度上对图像数据进行自动分析与理解,进一步达到与用户的认知
明代是中国文献辨伪学持续发展时期,在这一时期内,诞生了宋濂、杨慎、方以智、胡应麟、梅鷟等文献辨伪学大家。文章以宋濂的辨伪学思想及其著作《诸子辨》为主要研究内容,首
广义逆自提出以来,各国学者对其进行了深入的研究,它在算子理论,数值分析,特征值扰动,密码学,Markov链等领域有着广泛的应用.研究过程中,学者们又提出很多新的广义逆,如核逆,
地理学科是自然学科之一,是指在世界范围内,某地区、国家中的自然环境、山川河流、水文气候、社会要素的综合性学科。地理学科研究的是地球表面的各类自然景观与人文现象,属
随着信息技术的快速发展,越来越多的信息充斥于人们的生活当中,“信息过载”成为当下的热门话题,为了解决这一问题,个性化推荐系统应运而生。IPTV平台和网络视频平台中的视频
资源指代表一切可被人类开发利用的物质、能量和信息的总称。资源文本指描述资源相关信息的文本,它主要包含资源名称、属性、参数、量值、用途以及应用领域。对资源用途按照
轮胎作为车辆行走机构的重要部件,其性能优劣在很大程度上影响了整车性能。目前,轮胎市场上主流的产品仍为子午线轮胎和斜交轮胎,这两类以橡胶为主体材料的经典传统轮胎,都不