基于纠删码的移动存储系统快速数据修复技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:x28221181
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动数据流量的爆炸式增长,现有的蜂窝通信系统在海量数据请求时所承受的负担日益严重。通过基站转发至核心网的通信模式已经无法满足5G时代对大容量、低时延、低功耗的用户体验需求。随着移动设备计算和存储能力的提升,将内容存储在移动设备中,采用设备到设备(Device-to-Device,D2D)通信技术进行信息传递的移动存储系统成为解决海量数据大规模并发请求的关键机遇。移动设备在电量耗尽或离开基站覆盖范围时,通过缓存技术将流行文件存储在移动设备上的数据将会随之丢失,用户无法再通过D2D通信技术获得该部分文件数据。移动存储系统需要对失效的数据进行及时修复,冗余容错方案被广泛应用以维持系统的可用性。传统的复制方案存储开销大不适用于有限存储空间的移动存储系统,近年来纠删码以其低存储开销和高可靠性成为最佳解决方案。由于设备的移动性,系统移动设备数量呈现动态时变的特点,在不同文件大小和设备移动速度条件下,不同纠删码方案所对应的修复时间具有很大差异。并且,设备的通信距离有限,造成移动设备之间的D2D通信是一种机会式链路,降低数据成功修复概率,进而影响修复效率。对于上述问题,本文针对纠删码移动存储系统的数据修复问题,从数据修复模式、编码方案和系统参数选择等角度出发,着重考虑设备移动性和链路通断条件对系统修复时间性能的影响机理,深入分析数据修复时间性能与系统环境参数的相互关系,并提出中继协作数据修复方案,进一步达到减少修复时间的目的。本文主要研究内容分为以下几点:针对纠删码和数据修复模式在移动存储系统中的相互匹配问题,分析了不同纠删码在不同数据修复模式下的修复时间性能。首先,详细阐述了复制、最大距离可分(Maximum Distance Separable,MDS)码和再生码的码字特点,并从码字可靠性、修复局部度、存储开销和带宽开销等方面进行分析比较。重点比较了MDS码和再生码在即时修复、惰性修复、分布式修复和集中式修复的平均修复时间,仿真证明了纠删码采用惰性修复在平均修复时间的最优性。针对由通信距离有限造成的移动存储系统修复时间过大问题,设计了基于修复间隔的惰性修复策略,分析了不同纠删码和系统参数下的修复时间。在系统模型设计中对设备移动性进行合理的假设与建模,推导了基于修复间隔的MDS码和再生码的平均修复时间闭合表达式。并以平均修复时间为性能指标,分析了不同文件大小下的最优编码方案和设备移动速度对平均修复时间的影响。仿真分析了码字的码长、码率和修复局部度与平均修复时间的关系。针对机会式链路导致的链路通断和高修复时间等问题,提出了中继协作修复方案应用于移动存储系统中。在中继节点选择和数据分配中采用均匀分配的方式,推导出该系统模型下纠删码的平均修复时间闭合表达式。进一步对中继节点选择和数据分配建立了最小化修复时间的优化问题,证明该问题属于NP-难问题。随后提出了最优中继节点选择的贪婪算法和快速数据分配的启发式算法以降低求最优解的高计算复杂度,并通过仿真验证了中继协作修复方案在平均修复时间的优越性。
其他文献
随着移动终端设备数量的增长和人工智能技术的发展,移动设备对运行实时应用(如人脸识别、AR/VR)的需求大幅增加。然而,资源有限的移动设备通常无法承载此种计算密集、时延敏感的应用,导致用户体验的下降。如果采用传统的云计算解决方案,也存在传输延迟过长、流量拥塞,大量数据处理成本和通信成本高的问题。在此背景下,移动边缘计算(Mobile Edge Computing,MEC)将计算基础设施从远程云数据中
无人机集群自组网相比于地面MANET网络,在三维空间中具有更大的灵活性,在军事和救灾场景下具有重要的应用意义,与此同时,由于无人机之间距离远,无人机集群网络更加稀疏,无人机飞行速度较大,通信链路容易中断失效,进行三维空间网络拓扑控制要考虑更多的因素,而现有的二维平面网络拓扑控制技术应用在无人机集群自组网具有很大的局限性,因此,研究基于三维空间的有效拓扑控制是有必要的。为了构建具有一定容错性和抗毁能
随着互联网时代的到来,各种信息的数字化在人们的生活中随处可见。比如之前学生上课大多采用纸质书籍作为信息承载媒介,而近年来课件、PPT等电子授课工具越来越流行。甚至出于成本的考虑,电子化书籍也在学生中颇受欢迎。但是与此同时也带来了一系列的问题,比如电子化书籍中的PDF或者图片中的文字无法像文档一样直接编辑,为信息查找、修改或者统计录入带来了诸多不便。针对这些问题,本文提出了一个基于隐马尔可夫模型的文
阿尔茨海默病作为最常见的老年疾病之一,其主要表现为患者认知功能下降并逐渐丧失生活能力。该疾病具有隐匿性和不可逆性,尽早的诊断与干预对延缓病情发展对提高患者生活质量具有重要作用。研究表明阿尔茨海默病会导致患者大脑结构形态畸变,其中最典型的脑部结构是海马体。因此磁共振影像中海马体形态变化研究有助于疾病的早期诊断以及对疾病的发生和进展机理的进一步研究。目前磁共振影像中阿尔茨海默病海马体形态学研究方法仅从
卫星物联网(Satellite-based Internet of Things,S-Io T)能够突破现有地面网络仅覆盖20%左右陆地范围的局限,实现全球立体覆盖下的宽带接入。S-Io T已成为下一代移动通信的重要发展方向之一。本文面向未来S-Io T服务于地面终端的典型业务场景,综合考虑卫星受限的功率资源、星地长距离链路导致的大传播延时以及信号衰落,设计了基于网络编码(Network Codi
伴随着信息时代的发展,人们的数字娱乐生活越来越丰富,智能手机提高人们生活品质的同时也对无线数据业务的提出了新的要求。在第五代移动通信(Fifth-Generation Mobile Communication,5G)时代,移动无线网络不仅仅需要提供几十倍于4G(Fourth-Generation Mobile Communication)的峰值传输速度,更需要保证毫秒级的数据传输时延。当前的商用的
脑肿瘤又称脑胶质瘤、脑癌,是最具侵袭性的肿瘤之一,无论对患者的身体上还是心理上都威胁极大。核磁共振成像技术由于成像质量高,且对人体没有伤害,在临床上被广泛应用于肿瘤图像的采集。然而脑肿瘤图像十分复杂,不同肿瘤亚区的边界具有一定的模糊性,这使得脑肿瘤分割工作变得非常困难。当前主要是依靠医生或专家手动进行分割,不但效率低,而且医生在长期高强度的工作下可能会导致分割精度的下降。另外,为了能帮助医生进行临
多载波系统是当今水声通信的热点研究方向,其利用循环前缀(Cyclic Prefix,CP)拥有了优秀的抗多径性能,但是其采用的矩形窗带外衰减过慢,导致受多普勒效应干扰明显,且CP的使用也降低了系统的信息传输速率。水声信道复杂且变化快速,存在明显的多普勒效应,后者极大限制多载波通信技术在水声通信中的应用。而滤波器组多载波(Filter Bank Multi-Carrier,FBMC)系统既有良好的抗
移动数据的爆炸式增长,给传统的蜂窝网络带来了前所未有的挑战。为了缓解海量无线流量带来的压力,边缘缓存技术成为了当下研究的热点。边缘缓存把部分网络内容放置在具有缓存能力的边缘节点中,可以在流量高峰时实现快速的内容分发,缓解传统蜂窝网络的流量压力。通常,这些边缘节点可以是基站或者是移动设备等。随着移动设备数量的飞速增加和移动设备中的存储介质成本逐渐降低,D2D(Device-to-Device)通信技
进入信息时代以来,网络中信息的数量以惊人的速度急剧增加。用户要在这些巨量的信息资料中准确找到所需的部分极其困难,如何利用计算机辅助用户过滤噪声数据,挖掘有用信息已经成为目前的研究热点。命名实体识别是利用计算机从自然语言文本中抽取出命名实体,为之后更高级的任务奠定基础。对于科研技术人员来说,经常需要从大量文献中寻找资料,而中文领域的命名实体识别研究目前还大多集中于通用领域,也就是新闻文本领域,涉及科