论文部分内容阅读
随着云计算、大数据、移动和社交网络的快速发展和企业数字化转型的加速,数据将继续呈指数级别爆炸式增长。面对快速增长的数据总量以及对访问实时性越来越高的要求,现有的存储架构和副本分配方法均面临着巨大的挑战和瓶颈。当前大多数算法仅考虑数据分布的均衡性,在硬件配置差异较大的集群中容易造成资源使用不均衡。如何在复杂多样的物理环境下,提供可靠、高效、合理的分配策略是一个分布式存储系统的核心。因此,存储副本的资源分配优化问题已成为分布式存储领域所关注的热点问题,在此背景下,研究基于分布式块存储系统的副本分配优化方法具有重要的实用价值。本文主要研究内容如下:针对当前分布式块存储系统副本资源分配算法仅考虑存储空间使用率的问题,无法充分利用其他物理资源,提出了一种副本均衡分配模型。该模型综合考虑了CPU、内存、存储空间、存储性能和网络带宽等资源。为有效求解该模型,进而提出了改进的鲸鱼混合优化算法。该算法结合了天牛须搜索算法和差分进化算法来提高算法的搜索能力和避免陷入局部最优解。通过与多种常见的群智能优化算法在不同集群规模情况下进行对比实验,并将该模型应用于分布式块存储系统中。实验结果表明,改进的鲸鱼混合优化算法在求解副本均衡分配模型优于其他群智能算法;在实际系统中使用副本均衡分配模型可以提高系统各物理资源的均衡情况。在某些应用场景,分布式块存储系统不仅要考虑物理资源的均衡,还要考虑数据资源的本地化。针对此问题,本文提出了一种综合考虑物理资源均衡和数据本地化的多目标副本分配模型。为有效求解该模型,进而提出了一种改进的多目标鲸鱼优化算法。该算法基于改进的单目标鲸鱼混合优化算法,并有效结合了外部档案和拥挤距离排序技术。通过与多种常见的多目标优化算法在不同集群规模情况下进行对比实验,并将该多目标模型应用于实际系统中。实验结果表明,改进的多目标鲸鱼优化算法在收敛性、分布性和覆盖率均优于其他算法;在实际系统中使用多目标副本分配模型在稍微降低系统均衡性的情况下,能够较大地提高系统的数据本地化分布和访问性能。