【摘 要】
:
计算机所存储的信息量呈爆炸式增长,关系型数据库在应对大规模数据和高并发时候显得捉襟见肘,因此在一些应用场景正在逐渐被非关系型数据库取代,近年来非关系型数据库的研究
论文部分内容阅读
计算机所存储的信息量呈爆炸式增长,关系型数据库在应对大规模数据和高并发时候显得捉襟见肘,因此在一些应用场景正在逐渐被非关系型数据库取代,近年来非关系型数据库的研究成为了一个炙手可热的新领域。开源的HBase由于其高性能、高可靠性、低成本以及易扩展等特点被许多互联网企业所使用。在HBase的增量数据应用中,大规模数据负载的加载是一个比较常见的场景。在这种情况中,影响数据加载速度的主要原因就是Region分裂带来的等待。根据当前对HBase数据加载过程的Region分裂和均衡研究仅限于动态参数配置,而没有涉及到改变分裂结构的情况。设计实现了根据收集负载规模和集群规模信息,预估当前系统需要的分裂规模,在数据加载前期加速分裂,后期平稳分裂的分裂策略,从而达到加速整个数据加载过程,提高整体吞吐量的目标。并同时实现了一种根据节点性能和Region热度调整Regionserver和Region关系的负载均衡方法,以便更好的服务于数据加载过程。在利用雅虎通用云测试工具对多分裂和调配策略做了横向和纵向的对比性能测试中,发现多分裂策略相比较于HBase得到了一定的性能提升。同时通过纵向测试数据分析了负载数据规模,线程数,集群规模对于本策略的影响和其相互之间的制约关系。此外还分别测试了多分裂策略在常上限和变上限策略下的性能。
其他文献
中医药数据信息化建设作为一项重要的课题,已经作为医药卫生事业基础信息建设的组成部分被列入国家“十一五”规划中。中医药信息数据库建设是中医药信息化的基础。浙江大学CC
目前,传统的信息安全手段(防火墙、入侵检测和杀毒软件等)在信息安全领域逐渐表现出其局限性,比如病毒库越来越大、只能被动防范等等。可信计算是解决这一问题的新方案,已经成为
运动目标检测是视频分析的基础,有着广泛的应用背景。本文主要研究了静止背景下图像序列中运动目标检测技术,同时对斜放置摄像头拍摄场景中的行人统计技术进行了探索。本文在前
企业门户平台(EIP,Enterprise Information Portal)是一个应用框架,它将企业的所有应用和数据集成起来,并以统一的界面提供给用户,使企业实现内部和外部的信息管理、信息发布
UHF(超高频)RFID(射频身份识别)技术是国际上最先进的第四代自动识别技术,是近几年刚刚开始兴起并得到迅速推广应用的一门新技术,它有识别距离远、识别准确率高、识别速度快、
随着信息时代的到来,人们的周围已经是一个信息世界,信息系统的数据量正爆炸式的增长。如何有效的对庞大的数据进行分析和挖掘是当前数据挖掘领域所要解决的主要问题。波兰华沙
工业网络控制系统由简单集中式数字控制系统(DDC)发展到全数字化、智能化、全分散的现场总线控制系统(FCS),给工业自动化带来一场深层次的革命。但是,现场总线国际标准推出缓慢
求解最短路径是车辆监控导航系统的主要功能之一,随着全球导航定位技术的广泛应用,人们对求解最短路径问题的要求也日趋迫切。国内外大量专家学者对最短路径问题进行过深入研
直线是生成各种图形的基本元素,直线绘制是光栅图形学最基本的一个任务。直线扫描转换生成算法是计算机图形学、计算机辅助设计、科学计算可视化、虚拟现实、计算机动画等领
近些年分布式数据库具有高效读写性能、高可靠性、高可用性、动态可扩展等优势而得到了快速的发展。在分析了工业上各大厂商和学术上研发的多种分布式数据库产品之后,选择了开