基于JB~c-LSM的三层缓存Key/Value索引系统

被引量 : 0次 | 上传用户:a3470114
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的迅猛发展,网络访问数据量呈指数级增长,提高对海量数据的管理访问能力的需求变得越来越迫切,海量数据的索引性能的提升对于互联网的诸多应用会有极大的促进作用。ATR实验室开发的JBc-LSM系统是一种为自然语言处理N-gram模型的应用而设计的新型的海量数据索引系统,这个模型为了弥补传统B树的不足,设计了基于内存操作的高密度磁盘索引结构Bc。JBc-LSM系统在建库,批量查询和更新上有着较为优秀的性能,然而在线索引性能并不理想。本课题针对已有的JBc-LSM系统在线索引性能的不足所在,提出本课题的解决方案Flash-JBc-LSMo本文首先介绍了两种主流的索引系统的架构,重点介绍和比较了LSM模型的主流实现技术,结合对JBc-LSM系统的分析,在JBc-LSM系统的基础上,引入固态硬盘,遵循程序访问的局部性原理,设计了改进版本的系统Flash-JBc-LSMo改进后的Flash-JBc-LSM设计了适用于固态硬盘的索引数据结构,使得可以充分的发挥固态硬盘的性能,从而提升索引系统的在线索引性能。我们在JBc-LSM的基础上设计三层缓存层,第一层为内存索引结构,为Judy的关联结构,第二层为SSD的记录存储结构,记录的查询通过内存的hash表进行快速索引,第三层为以Linux Device Mapper技术为依托的Facebook开源项目Flashcache,此层将在磁盘的底层驱动里对磁盘的Block进行读的Cache。通过与几种主流的索引系统的实验的测试比较结果来看,本文提出的方案Flash-JBc-LSM比其他的索引系统有着较为显著的提升效果,也证明了本课题的解决方案Flash-JBc-LSM引入的固态硬盘以及为固态硬盘设计的索引结构对于系统的在线索引性能确有着提升的作用,也有助于提升自然语言处理N-gram模型应用或者在线搜索引擎的应用的性能。其次本文通过对实验的结果的分析,对Flash-JBc-LSM的改进的空间作进一步讨论。
其他文献
本文根据水利管理的现状,分析水利技术的应用,并且对RTK技术产生的影响进行评价,提出水利创新工作的策略。
随着电脑的普及,电脑维修量成几何增长,维修人员有限,不能及时有效对故障电脑进行维修。大部分工程师用U盘或光盘对电脑进行维护,部分电脑不能识别U盘,及U盘容量有限、易损坏
聚乙烯丙纶复合防水卷材是以原生的聚乙烯的高分子材料加之以抗老化剂、助粘剂以及稳定剂并和强度新型丙纶涤纶无纺布经过一系列加工而形成的复合型防水材料。聚乙烯丙纶复合
受金融危机和随后的主权债务危机的影响,2011年下半年全球光伏市场增速开始逐渐放缓,供需失衡造成了全球光伏产业内众多企业的经营困境以及破产倒闭的频繁发生。而欧美国家部
<正>10年前,我曾经郑重地提出"机遇属于有准备的非金属矿行业",现在,机遇已经来临。我们应当自问,非金属矿行业谋求发展,在新形势下准备好了吗?为了回答这个问题,让我们先看
简要论述了填土的工程地质特性及其对建筑物的影响,并结合工程实例,系统分析了填土的工程地质勘察主要的方法及具体步骤,对确保工程建设的顺利进行有重要意义。
21世纪,世界范围内的竞争从自然资源、资本资源的竞争转入对人才资源的竞争。人力资源已成为21世纪企业竞争及国家经济增长的重要元素,它的开发更是成为各地区和国家经济社会
目的以聚丙烯酰胺凝胶电泳分析血液制品蛋白纯度。方法采用SDS-PAGE和2-DE对人血液制品进行电泳分离,分别以胶体考染和银染显示凝胶电泳分离结果,以Labworks45或ImageMaster2
“七一”前夕,汉中市档案馆馆长侯富乐带领全体党员干部赴留坝县开展庆“七一”活动。大家来到留坝县江口镇河西村红二十五军军部遗址纪念馆和锅厂村红二十五军战役纪念碑前,
元宝山发电厂300MW 机组的旁路系统属国内最早由瑞士苏尔寿公司引进的成套汽机旁路系统设备之一,其运行经验及存在的问题值得国内有关方面借鉴。