基于LSM树的NoSQL数据库索引研究

被引量 : 0次 | 上传用户:skyforce2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近些年来互联网的不断发展以及移动互联网的慢慢兴起,网络已近渗透到我们生活的方方面面。每天产生的数据量已经超过以往任何时期。我们已经迎来一个大数据的时代。大数据的大不仅体现在数据量上,还体现在数据种类种类繁多和数据产生的速度也非常快。而这些数据还具有很高的商业价值。如何存储并有效利用这些数据已经成为大数据时代下的一大难题。传统关系型数据库无法为大数据提供行之有效的服务,而另一种完全不同的数据库体系正在兴起。这种数据库体系统称为非关系型数据库,即No SQL数据库。NoSQL数据库近几年得到了非常迅猛的发展,它为数据的存储提供了一种新选择。索引是数据库研究中最关键的一部分,而B+树是最常用的数据库索引结构之一,关系型数据库都采用B+树作为其索引结构。但是NoSQL数据库并不像关系型数据库那样采用表结构进行存储,它提供了许多不同的数据组织方式。因此,传统的索引方式已经无法满足NoSQL的索引需求。本文对NoSQL数据库索引的现状进行分析,针对NoSQL数据库索引存在的问题,设计一种新的索引方案。本文通过对常见索引结构进行调研,分析不同索引结构的优缺点。针对广泛使用的LSM树作为研究对象,设计并实现了一种基于LSM树的索引结构——iLSM树。该结构针对LSM树中存在的不足,即通过牺牲数据查询效率的方式来获得数据写入效率的大幅度提升。通过分析LSM树执行数据查询的过程发现在进行数据查询的过程中,LSM树需要先访问所有子树以确定数据是否在其中,然后在对存有目标数据的子树进行查询。由于LSM树中的子树绝大多数都存储在磁盘上,因此,访问所有子树这个过程需要耗费大量的时间。本文通过添加对LSM树中子树的索引,来减少查询过程中需要访问的子树的数量,以减少查询整体需要消耗的时间,达到提高查询效率的目的。本文在HBase中对这一索引思想进行实现,并将新实现的系统与HBase的LSM树索引进行一系列对比试验。实验结果表明iLSM树能够在牺牲少量内存空间的前提下大幅度提升查询性能,同时保证iLSM树的写性能与LSM树基本保持一致。
其他文献
华文教材的编写时对外汉语教学的基础,本文以印尼小学华文教材《我的汉语》和《基础汉语》为例,综合运用统计、对比等方法,从"国别化"角度探讨了印尼华文教材的编写话题选择
随着信息技术的发展,大众传播媒介正在以一种全新的方式改变着受众的接收方式与审美观和价值观。面对竞争日益激烈的媒介传播方式和渠道,电视节目在保留其传统的优势上还应该
妊娠恶阻验案2则王坚正妊娠恶阻是妊娠早期最常见的病症。通常入院治疗的患者,大都呕吐频繁,因持续时间较长,重则伤胃阴,身体消瘦,甚则可发展为气阴两亏的的危重症候。笔者临证时以
未生效合同应作为独立的合同效力类型。未生效合同不同于效力待定、可撤销、无效合同类型。基于未生效合同中的生效条件与附条件合同的条件具有本质差异,不能将未生效合同解
<正> 鳗鱼营养丰富,滋味鲜美,很受人们欢迎。我国东南沿海鳗苗资源丰富,自然条件优越,近年来养鳗业已经获得迅速发展。众所周知,保质保量的饲料是保证水产养殖获得成功的最重
耕地资源是一种稀缺的公共资源,耕地保护是社会主义新农村建设的要务,是经济社会可持续发展的关键,是我国粮食安全的重要保障。在介绍我国耕地保护问题理论和现状的基础上,将
岁暮召开回顾前瞻日本形势的学术研讨会 ,近年来似乎已经成为我刊的惯例。 2 0 0 2年 11月 2 8日 ,日本学刊杂志社又与中国社会科学院日本研究所共同主办了一次这样的会议 ,
期刊
课桌椅设计除考虑材料、结构、色彩等因素外,必须应用人机工程学原理,使其符合青少年身体的尺度,在使用时保证人体有一个健康良好的坐姿,从而有利于提高学习效率,减少疲劳和
本文提出在城市更新改造中,城市废置地区包括三大类,通过对国内外城市废置地区各类生态景观改造的案例分析,总结出了六种规划改造模式类型,期待指导实践。