面向分布式存储系统的数据一致性协议设计与优化

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ruguofengdiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、云计算等概念的提出与兴起,分布式存储技术的价值和重要性日渐凸显。相比于传统的集中式存储系统,分布式存储系统具有低成本、易扩展、高可用等优势。然而,分布式存储的架构体系也为数据复制和同步带来了诸多挑战。首先,由于分布式存储系统建立在异步通信环境之上,且系统中各数据节点存在发生不可预计故障的情况,使得分布式存储系统实现数据一致非常困难。其次,根据CAP理论,数据强一致性和系统可用性、分区容错性之间存在相互制约的关系,如何在保证数据一致性的前提下综合与其他因素间的权衡是一项极具挑战的课题。针对上述问题,本文根据分布式存储系统的特点,在现有数据一致性理论的基础上,实现了基于Paxos协议的分布式数据一致性模块。然后,通过对一致性过程的优化和改进,提出了流程简化、可用性高且读写同步的数据一致性协议设计。本文的主要研究内容和结果归纳如下:(1)基于经典的Paxos协议,实现了分布式存储系统数据一致性模块。该模块可以同时接收多个客户端并行发送的数据操作请求,生成系统各个数据节点可获取的相同的数据操作序列。各数据节点顺序执行序列中数据操作请求,就可以实现分布式存储系统的数据最终一致性。(2)针对Paxos协议中消息传递次数因提议者抢占接受者访问权而增多,导致协议延迟增大的问题,通过延长提案编号有效范围的方式优化了Paxos协议的运行过程,进而提高了数据一致性模块的每秒查询率。(3)针对基于Paxos协议实现的分布式存储系统数据一致性模块只能达到数据的最终一致性程度,而无法实现数据的同步读写的问题,通过选举分布式存储系统中的一个数据节点作为唯一接受客户端请求节点的方式,为数据一致性模块提供了数据同步读写的功能。最后,本文对提出的数据一致性协议进行了实验,通过对若干关键指标的检测,证明了本文所提方法的正确性和有效性。
其他文献
无线传感器网络的资源很有限,却集成了监测、控制以及无线通信等多种功能。因此,无线传感器网络资源的节省显得尤为重要。MAC协议处于无线传感器网络协议的底层部分,对无线传
进入21世纪以来,为应对地球环境所面临的危机,及时、准确和完整的空天资源的获取对环境监测、灾害预报、资源探测等地球科学及生产活动显得益发重要。同时,表征空天范围内资
伴随着时代的进步和人类生活水平的不断提高,视频监控报警成为了家庭安防行业的一个越来越广泛的需求。传统的家庭视频监控报警系统结构复杂,无法联网,监控端软件操作繁琐,查
图像跟踪器研制完成后,需要对跟踪性能进行评估。图像跟踪器测试评估系统可以使我们在实验室通过模拟各种实际场景,跟踪目标和干扰情况,解决图像跟踪器跟踪性能的测试和评估问题
海洋是人类维持生存繁衍的重要基地,开发海洋经济是社会实现可持续发展的必由之路。近几年,海洋信息技术应用十分广泛,为我们探索海洋提供了新的机遇。它能够采集海洋数据,勘
随着对无线通信服务质量和通信速率要求的不断增加,许多不同的技术被提出来以提高信号质量、增加信道容量和减少信息传输的误码率。分布式天线系统(DAS, Distributed Antenna
近年电子产业、多媒体技术和网络技术的飞速发展,使得Web中视频资源——诸如视频点播、数字电视、数字图书馆、视频会议、远程教育等等被越来越多的用户使用。而视频资源具有
在实际的多媒体通信应用中,针对不同的应用需求,在同一个系统中需要处理的图像往往同时包括低分辨率的视频和高分辨率的静止图像。目前,国内外针对静止和视频这两类图像分别
基于位置的服务与人们的生活息息相关,具有巨大的商业价值和发展前景,而定位技术又是其工作的关键支撑。在室外环境下大多采用卫星信号定位,定位技术已经比较成熟且应用广泛