面向云存储的数据增量同步关键技术研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yijiezhented
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据备份及同步是云存储服务重要的功能,因此云存储中的数据同步是一个重要的研究课题。在数据同步中,增量同步依靠网络传输带宽少的优势逐渐占据主要位置。增量同步虽然可以大大降低同步时的网络带宽,但是其在数据增量采集过程中会产生大量计算与磁盘I/O,同时面临着海量同步请求带来的诸如高并发、高负载、串行化和高延时的挑战。目前学术界针对数据增量同步以及备份服务器性能优化进行了很多的研究,但是云存储服务面临的这些挑战仍然没有较好的解决方案。聚焦云存储中云端与数据源端之间的数据增量同步,本文提出了相应的优化算法。本文的主要工作包括:1、围绕数据增量同步中增量采集效率低的问题,提出了两种适用于数据增量采集的可变长度数据分块算法。本文在理论层面探讨了数据分块算法与数据增量采集之间的关系,并提出了两种更加适合数据增量采集的基于小窗口匹配的数据分块算法:最小递增区间算法和区间奇偶校验算法。为了得到更好的数据增量采集效果,这两种算法通过牺牲分块长度的稳定性来获得较好的抗字节漂移能力,因为抗字节漂移能力会影响数据增量采集的精确性。两种算法的区别是寻找切点的方式不同,进而在性能表现上有一定的差异。实验结果表明,最小递增区间算法和区间奇偶校验算法在其他方面与对比算法保持相当的前提下,将采集到的增量数据大小减少为其他算法的20%~57%,其中增量数据包含所有的差异数据,有效地提高了增量数据的采集效率。2、围绕数据增量同步的通信流程中存在冗余步骤的问题,提出了基于影子数据的数据增量同步优化算法。在云存储场景中,数据的主动变化只会发生在客户端中,服务器并不会主动修改数据,因此数据增量同步算法的多次通信过程不全是必要的。本文提出的优化算法通过牺牲客户端少量的存储空间来降低服务器的计算负载和I/O负载,同时简化了数据增量同步的通信流程,并提出了对应的通信协议。具体地,本文设计了一种新的数据结构:影子数据,它存储在客户端,用来取代服务器中备份文件的分块摘要信息,因此在同步中可以省去服务器对备份文件的分块、计算摘要以及传递摘要信息的通信流程,这样有效降低了服务器的计算负载和I/O次数。在真实数据集上,将本文算法与前人所提的算法进行了对比,实验结果表明本文算法可以将服务器的CPU使用率降低80%左右,同时还有效地减少了增量同步的处理时间。3、围绕服务器面临的海量同步请求时高并发、高计算量以及高延时的问题,在前两个工作内容的基础上提出了基于分布式计算框架的同步请求处理算法。在云储存场景中,备份服务器面临海量请求带来的诸多挑战,比如高并发、高计算量以及服务的高延时问题。为此,本文提出了一种基于分布式计算框架的同步请求处理算法。具体地,本文首先将同步请求存储在消息中间件中,从而对同步请求的接收和处理解耦合,给处理同步请求提供并行的条件。然后,将同步请求的处理过程转换成计算任务提交给分布式计算框架来处理。实验结果表明本文所提算法比其他同类算法支持更高的并发度,在同步处理时间上减少了18%~82%,在传输数据量上减少了5.3%~90.9%。这两个范围分别对应所有测试结果中的最坏和最好的情况,而得到这些提升是以牺牲客户端部分存储空间为代价。
其他文献
锝-99(99Tc)具有半衰期长、裂变产率高和环境迁移率高等特点,是放射性废物处置中最重要的核素之一。发展高效的锝分离方法是实现锝安全处置的前提条件。另一方面,由于锝具有放射性,研究者们通常使用与其性质相似的铼对其进行模拟研究。并且铼是一种性能优异的稀有金属,对铼的分离回收也具有重要的研究价值和应用前景。吸附法被认为是分离锝和铼最有效的方法之一。然而,目前针对锝和铼的吸附分离材料还存在一些问题,例
水醇溶共轭聚合物(WSCPs)由于其独特的溶解性和半导体特性,被广泛应用于聚合物太阳电池(PSCs)、有机薄膜晶体管(OTFTs)、有机发光二极管(OLEDs)和生物传感器中。WSCPs主要由π-共轭骨架和大极性的功能化基团组成,它们在水-醇等环境友好型溶剂中具有优异的溶解性,为通过环保手段制造大面积太阳能电池并提升其器件效率奠定了技术基础。最近几年,研究人员总结了WSCPs的发展现状,并研究了它
泛函微分方程在物理学、化学、生物学、电力和电路分析、神经网络、医学、金融学等领域有着极其广泛的应用.相比于无时滞的微分方程,具时滞的泛函微分方程能够更加准确地刻画客观事物的发展变化趋势.一般情况下,此类方程的精确解难以得到,因此我们需要借助稳定高效精确的数值算法来获取这类方程的数值解.迄今为止,国内外已有许多文献和专著涉及泛函微分方程的数值计算和分析,其中的算法包括线性多步法、单支方法、Runge
脑转移瘤患者的预后差,目前针对脑转移病灶的主要治疗方式仍然是手术和放疗,血脑屏障和血肿瘤屏障限制了抗肿瘤药物进入颅内发挥疗效。随着新的抗肿瘤药物的研发,其在脑转移瘤的治疗中发挥越来越重要的作用,但在临床应用中发现很多抗肿瘤药物透过血脑屏障的能力没有详细阐述,且脑转移瘤药物的选择仍值得探讨。因此,本文就传统化疗药物、靶向治疗药物及免疫治疗药物透过血脑屏障的药动学及临床研究进展进行了综述,以期为脑转移
骨肉瘤患者总体愈后在过去的近40年来无显著提升,其中一个重要原因就是缺乏一个接近骨肉瘤临床特点的动物模型,导致目前对骨肉瘤的发生发展、转移以及免疫逃逸等过程的细胞分子机制了解甚少。与此同时,热疗已成为继传统手术、化疗和放疗之后受到较大关注的新型肿瘤治疗方式之一。微波热消融因其在骨组织中具有特殊优势而越来越多的应用于骨肿瘤的治疗中,但微波热消融治疗骨肿瘤后灭活骨整合速度缓慢,骨折频发,限制了其进一步
新冠肺炎疫情的暴发,导致一些传统生产制造业上下游企业极为困难,也直接重创了旅游行业。伴随着常态化疫情防控措施的不断推行,在“后疫情时代”,旅游行业如何实现涅槃重生,已经不仅仅是只关系到旅游资源主要集散地发展的问题,更多地直接关系到整个旅游产业如何顺势优化的根本性问题。以广东省清远市为例,分析新冠肺炎疫情对清远市旅游产业发展产生的影响,并针对后疫情时代清远市旅游产业创新发展提出新思路。
探寻会展产业领域的研究现状、热点内容和发展前沿,对促进我国会展产业研究发展具有重要意义。本文利用CiteSpace软件对CNKI数据库中“会展产业”相关文献进行可视化分析,得出以下主要结论:我国会展产业发展与经济发展存在着紧密关联;会展产业现有合作研究不够,研究机构缺少行业支持;会展产业研究热点聚集在发展策略、旅游业整合、发展模式、产品及营销、经济效应等方向;“产业融合”是会展产业研究的未来趋势。
锥体神经元通过轴突与其他神经元形成神经环路,参与学习和记忆等高级功能。临床和动物实验表明阿尔兹海默病(Alzheimer’s disease,AD)的记忆障碍与前额叶皮层锥体神经元功能异常有关,如突触可塑性降低等,但其长程环路机制尚不清楚。在全脑范围内研究锥体神经元病变对于理解退行性疾病的神经环路机制具有重要意义。本文以AD转基因小鼠作为实验模型,研究了锥体神经元长程环路的损伤机制,主要结果如下:
学生学业负担过重现象是义务教育内卷化的外在表现,而教育目标收缩效应、教学活动模板效应、学校功能外溢效应则是这一内卷化状况的内在体现。“双减”政策为破解义务教育内卷化难题而生,其运转机理是:借助教育聚魂、教学深改、学校升级等手段,带动义务教育内核层面上的调整运动,最终达到解决相关问题的目的。据此,“双减”政策理应从教育观念系统修复、高品质教学创造、新学校建设等方面强化内涵建设,助推义务教育如期突破内
乡村振兴战略的提出为乡村发展特别是大都市区近郊村庄的发展提供了重要机遇[1]。村庄规划的制定,不仅避免了发展过程中的无序化,也为产业发展、生态修复、改善人居环境、农民收入的提升提供了必要空间,同时也是村庄、社会、经济、文化发展的保障。本文以上海近郊枫泾镇新义村为例,为满足村庄"产业兴旺、生态宜居、乡风文明、治理有效、生活富裕"的总要求,结合新义村的生态环境、产业基础及文化特色,从产业定位、空间布局