基于路由器的分布式存储技术的研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:czh126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展,信息技术已经深刻的影响着人类的方方面面,而数据海量化给存储技术带来了巨大挑战。相比传统的存储系统,分布式存储系统通过利用大量的小型服务器甚至个人PC来组成存储空间巨大的存储池,因此具有低成本和高扩展的优势。分布式存储系统通过存储冗余数据在大量的存储节点来提供可靠的数据存储服务,保证文件的可靠性和可用性。副本和纠删码是两种常见的冗余机制。由于硬件故障、网络故障等原因会造成存储节点失效即节点离开系统,这种现象是很常见的。当存储节点失效时,造成该节点内文件不再被系统所使用。为了维持系统内文件的冗余度,需要数据修复机制来修复丢失的数据。另一方面网络中路由器性能越来越强大且能够对特定业务提供支持,本文创新的提出使用路由器对P2P存储提供支持。本文的主要内容包括如下两个方面:(1)数据修复协议针对分布式存储的数据修复过程,本文创新的提出使用路由器的计算能力提供支持:对流入的多条数据流进行编码,发送出去一条数据流。根据该基本思路,本文提出了两种利用路由器的数据修复方案,并设计了两种数据修复协议:路由器支持的数据修复协议和树形路由器支持的数据修复协议。在第一种数据修复协议中,由于路由器编码使数据修复过程的数据流数量减少,因此能减少整个过程传输的数据量。如果网络中有瓶颈链路,通过减少瓶颈链路的数据流,数据传输速度将变快因而能减少数据修复的时间。相比于第一种协议,树形修复协议主要是在修复之前先构造一棵再生树,选择带宽较大的边来进行数据传输,进一步提高数据修复的性能。通过实验仿真,使用两种数据修复协议能极大减少数据修复过程的修复时间和修复数据流量。(2)分布式存储原型系统除了利用路由器的计算能力,路由器的存储空间也可以被利用:在路由器中缓存存储系统的数据,使用户能够从最近的路由器上取的所需数据,减少下载时间。本文设计并实现了一套基于多核路由器平台的P2P存储系统。系统主要功能包括文件上传、文件下载、数据修复、节点检测等。系统测试表明,在有路由器支持的情况下系统主要性能要比无路由器支持的情况下获得较大提升。
其他文献
随着移动通信和宽带无线接入技术的迅猛发展,未来的无线网络将不再是某种技术一统天下,而是多种无线接入技术共存、相互补充的异构网络。而垂直切换是异构网络切换管理的研究重
近几年,越来越多的新型嵌入式系统需要高性能、高集成度的处理器来满足其相关的嵌入式设计约束,例如减小系统的物理尺寸或者降低功耗。在这种情况下,多处理器片上系统(Multip
近年来,随着数字媒体技术的迅猛发展和信息量的急速膨胀,在大规模科学计算可视化、军事仿真、虚拟现实、工程设计、展览展示和数字影院等诸多应用领域,人们对显示技术的要求
现代制造业竞争日益激烈,旧的生产模式已经无法适应现代化生产的要求,大规模车间调度问题的研究已经成为当前的热点。但是车间制造系统内容复杂、范围广泛,很多领域的研究还很薄
当前,节能减排是时代的主题。随着社会经济的发展,IT行业已经逐渐渗透到了社会建设的各个层面,各个行业,成为其他行业发展的基石和依赖。工T行业蓬勃发展的同时,其能源消耗的
在信息化大浪潮席卷全球的今天,互联网获得迅速发展。网络信息已经应用在国家和社会的各个部门,人们在进行资源共享的同时,也感受到信息安全问题日益突出。如何保证网络信息安全
字符串相似性匹配是计算机领域最基础的技术之一,被广泛应用于网络安全、信息检索等领域,同时还被广泛应用于生物学信息处理,文本词根识别等应用。然而随着网络发展的日新月
无线传感器网络作为一种从现实物理世界获取信息的手段,受到越来越多的重视,事件检测则是无线传感器网络的重要应用之一。考虑到无线传感器网络自身能耗受限和容易受环境影响
近年来,无缝针织工业在世界范围内发展迅速,随着市场的变化,企业在设计针织物的时候,希望可以找到更快的设计方式,设计出适应市场需求的产品。传统上,新产品在设计时需要多次
随着计算机科学技术的高速发展,三维模型因其较二维图像更为接近现实、更符合人类视觉习惯和更生动直观的立体效果,广泛地应用于虚拟现实、文物考古、医疗成像系统以及影视游