分布式块存储系统的副本分配优化方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:aklehigh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算、大数据、移动和社交网络的快速发展和企业数字化转型的加速,数据将继续呈指数级别爆炸式增长。面对快速增长的数据总量以及对访问实时性越来越高的要求,现有的存储架构和副本分配方法均面临着巨大的挑战和瓶颈。当前大多数算法仅考虑数据分布的均衡性,在硬件配置差异较大的集群中容易造成资源使用不均衡。如何在复杂多样的物理环境下,提供可靠、高效、合理的分配策略是一个分布式存储系统的核心。因此,存储副本的资源分配优化问题已成为分布式存储领域所关注的热点问题,在此背景下,研究基于分布式块存储系统的副本分配优化方法具有重要的实用价值。本文主要研究内容如下:针对当前分布式块存储系统副本资源分配算法仅考虑存储空间使用率的问题,无法充分利用其他物理资源,提出了一种副本均衡分配模型。该模型综合考虑了CPU、内存、存储空间、存储性能和网络带宽等资源。为有效求解该模型,进而提出了改进的鲸鱼混合优化算法。该算法结合了天牛须搜索算法和差分进化算法来提高算法的搜索能力和避免陷入局部最优解。通过与多种常见的群智能优化算法在不同集群规模情况下进行对比实验,并将该模型应用于分布式块存储系统中。实验结果表明,改进的鲸鱼混合优化算法在求解副本均衡分配模型优于其他群智能算法;在实际系统中使用副本均衡分配模型可以提高系统各物理资源的均衡情况。在某些应用场景,分布式块存储系统不仅要考虑物理资源的均衡,还要考虑数据资源的本地化。针对此问题,本文提出了一种综合考虑物理资源均衡和数据本地化的多目标副本分配模型。为有效求解该模型,进而提出了一种改进的多目标鲸鱼优化算法。该算法基于改进的单目标鲸鱼混合优化算法,并有效结合了外部档案和拥挤距离排序技术。通过与多种常见的多目标优化算法在不同集群规模情况下进行对比实验,并将该多目标模型应用于实际系统中。实验结果表明,改进的多目标鲸鱼优化算法在收敛性、分布性和覆盖率均优于其他算法;在实际系统中使用多目标副本分配模型在稍微降低系统均衡性的情况下,能够较大地提高系统的数据本地化分布和访问性能。
其他文献
随着人类海洋活动的日益频繁,人们对海上宽带通信的需求也越来越大。当前海上无线通信系统存在带宽窄、速率低、成本高等问题,无法满足现代海上互联网通信业务的需求,人们迫
近年来,资产价格跳跃现象已成为金融研究的热点,本文通过方差互换检验方法,对沪深股市300只成分股15年间的股票交易数据进行分析,根据公司的股票市值、账面市值比、动量及非
合成是引入和推进功能材料或设备不同特性的常用方法。随后,有各种技术,结合两种或多种材料,形成一个统一的多功能/复合系统。虽然混合有机金属卤化物环丙基(OMHPs)主要被探索
命名实体识别是藏文信息处理的基础性和关键性任务之一,藏文命名实体识别就是从藏语文本中发现并分类命名实体,其效果会影响后续的藏文信息抽取和信息检索等任务的性能。当前
平潭岛是一个资源性缺水的海岛地区,水资源问题已严重制约了平潭综合实验区的发展,水资源的开发利用成为解决岛内水资源短缺的重要途径。在充分利用地表水资源的基础上,如何
世界经济在保持超高速发展的同时,各类能源短缺以及环境污染问题也变得愈发严重。尽管各国都致力于清洁可再生能源的研究,但是石油燃料的生产和消费依旧占主导地位,且持续增
无线传感网通常由具有有限资源的传感器节点组成,并运行在无人区域或恶劣环境中,这使它比传统网络更容易受到安全威胁。近年来,各种基于机器学习的入侵检测技术在无线传感网
调频信号作为一种典型的非平稳信号,广泛应用于声纳、雷达、激光等研究领域。调频信号的稀疏表示是众多领域的共性基础问题,对调频信号的采样、检测、压缩和滤波具有重要的作
随着多媒体和互联网技术的不断进步与发展,音频信号作为多媒体信号的重要组成成分,对其进行信息处理与挖掘受到越来越多研究者的青睐,而处理这些音频信号的方法也多种多样。
红外技术在夜视、导弹制导、空间遥感,天文学等地球表面和空间领域具有极其重要的应用。由于地球大气对红外辐射的吸收和散射,大气红外透过率是影响红外目标探测的一个重要因