一种基于分布式数据库HBase的混合存储数据调度策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:bailiankk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年分布式数据库具有高效读写性能、高可靠性、高可用性、动态可扩展等优势而得到了快速的发展。在分析了工业上各大厂商和学术上研发的多种分布式数据库产品之后,选择了开源社区开发维护的分布式数据库HBase作为研究环境。同时,新型存储介质固态硬盘因其性能优势也得到了快速发展。本课题结合分布式数据库HBase和固态硬盘的相关特点,采用有效的缓存管理算法将固态硬盘作为传统磁盘的第二级缓存,以提高的整体性能。  HBase将内存空间主要划分为写缓存和读缓存两部分。为了充分发挥固态硬盘的特性,本课题对读缓存空间进行了重新设计改进,提出了两阶段的缓存空间管理算法。为了区分从HDD和SSD读出数据块到缓存空间所产生的不同代价,第一阶段使用基于访问数据块代价规则GDF(Greedy Dual Frequency)算法来管理;为了有效区分冷热数据块,第二阶段使用LIRS(Low Inter-Reference Recency Set)算法来管理。同时,在充分理解关联规则的预取算法之后,使用了改进的Apriori算法来提高缓存命中率。  经实验测试证明,在HBase中加入固态硬盘作为传统磁盘的缓存可以有效地提高系统整体性能,特别是其读性能。
其他文献
在我国,煤气表实行“一户一表”制,挨家挨户人工上门抄表的模式已暴露出种种缺陷,越来越显得与城市的现代化建设不相适应,采用集中抄表系统已经成为一种趋势。随着现代科学技术的
中医药数据信息化建设作为一项重要的课题,已经作为医药卫生事业基础信息建设的组成部分被列入国家“十一五”规划中。中医药信息数据库建设是中医药信息化的基础。浙江大学CC
目前,传统的信息安全手段(防火墙、入侵检测和杀毒软件等)在信息安全领域逐渐表现出其局限性,比如病毒库越来越大、只能被动防范等等。可信计算是解决这一问题的新方案,已经成为
运动目标检测是视频分析的基础,有着广泛的应用背景。本文主要研究了静止背景下图像序列中运动目标检测技术,同时对斜放置摄像头拍摄场景中的行人统计技术进行了探索。本文在前
企业门户平台(EIP,Enterprise Information Portal)是一个应用框架,它将企业的所有应用和数据集成起来,并以统一的界面提供给用户,使企业实现内部和外部的信息管理、信息发布
UHF(超高频)RFID(射频身份识别)技术是国际上最先进的第四代自动识别技术,是近几年刚刚开始兴起并得到迅速推广应用的一门新技术,它有识别距离远、识别准确率高、识别速度快、
随着信息时代的到来,人们的周围已经是一个信息世界,信息系统的数据量正爆炸式的增长。如何有效的对庞大的数据进行分析和挖掘是当前数据挖掘领域所要解决的主要问题。波兰华沙
工业网络控制系统由简单集中式数字控制系统(DDC)发展到全数字化、智能化、全分散的现场总线控制系统(FCS),给工业自动化带来一场深层次的革命。但是,现场总线国际标准推出缓慢
求解最短路径是车辆监控导航系统的主要功能之一,随着全球导航定位技术的广泛应用,人们对求解最短路径问题的要求也日趋迫切。国内外大量专家学者对最短路径问题进行过深入研
直线是生成各种图形的基本元素,直线绘制是光栅图形学最基本的一个任务。直线扫描转换生成算法是计算机图形学、计算机辅助设计、科学计算可视化、虚拟现实、计算机动画等领