基于数据通道的非结构化数据多存储系统

来源 :浙江大学 | 被引量 : 0次 | 上传用户:tttde123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的迅速发展,互联网上的数据类型日益多样,应用的种类也日趋复杂。单一种类的传统关系型数据库或者NoSQL数据库已经无法满足数据的各类存储处理需求。而在为了应对复杂数据应用而诞生的多存储系统中,如何在多个存储组件之间进行数据同步就成为了影响多存储系统可用性和扩展性的关键问题。传统的定时数据迁移与客户端多路写或是会引入新的一致性问题或是无法满足可扩展的需求,这使得非结构化数据多存储系统的发展受到了限制。基于以上问题,本文提出了一种基于数据通道的非结构化数据多存储系统,主要研究内容包括以下几个方面:第一,针对传统数据同步方式中存在的问题设计了用于解决非结构化数据多存储系统中数据同步问题的数据通道。数据通道采用Coprocessor索引信息记录与WAL日志文件分析两种方式捕获主数据库HBase中的数据变更事件,经序列化器序列化后复制并保存在变更分发集群之中。其他存储组件通过对变更分发集群中中继进程发起的查询请求获取变更事件,以快照加增量的形式同步主数据库中的数据。第二,以数据通道为数据同步手段构建非结构化数据多存储系统。围绕数据通道与存储组件之间的交互,本文描述了数据通道在多存储系统中的作用以及完成的工作。并以一个实际的互联网应用为例,表述数据通道用于解决多存储系统中数据同步与迁移的便利性与可行性,证明了数据通道的实用性。第三,从可用性、可扩展性等角度对数据通道进行实验,测试其在多种情况下的性能与表现,并将其与传统的直接数据读取与客户端多路写等数据同步方式进行对比,验证了数据通道具有高可用、可扩展的特点,证明了数据通道为非结构化数据多存储系统的构建提供了新的思路。
其他文献
随着信息技术的快速发展,企业经营环境日益变得复杂多样,灵活的根据业务需求变化对生产、经营过程作出调整,对企业来说显得尤为重要。因为良好的适应性和可扩展性使得以工作
时间管理是工作流管理系统的重要组成部分。企业应用越复杂,对工作流时间管理技术的要求越高。由于时间概念表示、分析的复杂性,以及缺乏统一的时间建模规范与标准,对工作流
随着网络的发展,科技的广泛应用,对于身份识别的安全性可靠性的要求日益增加。指纹由于其易采集、难伪造、较稳定等优势,成为生物特征识别领域的研究热点。近年来,指纹识别技术也
目前,神经网络集成技术已经被广泛应用于回归和分类等诸多领域。提高预测和分类的精度作为其应用的一种是目前很多决策领域面对的重要而困难的工作,多模型结合的结构是预测领
当今社会是信息社会,信息无论对于个人或者国家来说都是至关重要的。对于一个国家的国防安全来说,这一点尤其重要。计算机网络是获取信息的重要途径。网络管理作为一种重要的
为适应全国铁路第六次大面积提速的需要,铁路货车的检修标准也随之提高。单车试验器主要用来对铁路货车制动系统进行检测,其性能的好坏将直接影响到铁路货车运行的安全。在2008
随着计算机技术、信息技术和网络技术的迅速发展,纯电子期刊的出版、数字图书馆的建设已经越来越普遍。科技论文的在线出版与在线共享在欧美国家已经成为现实,但在国内尚处于
随着计算机技术的普及,信息化、智能化、网络化的发展,传统的电视技术得到了广泛的发展和应用;随着高性能集成芯片技术的发展以及嵌入式技术的成熟,各种各样的嵌入式产品已经
OOSD技术能够较好的解决核心关注点的问题,但是对于横切关注点的处理以及如何响应软件需求的多变性,仍然具有局限性。而AOSD技术正是针对这一问题而被提出的。AOSD技术是面向
学位
新研发的处理器越来越多地加入SIMD向量指令集,增强其数据并行处理能力。无锡江南计算所研发的国产处理器神威也搭载了SIMD向量处理单元。然而,国产处理器平台上应用匮乏,三