分布式文件系统的负载均衡策略研究

被引量 : 10次 | 上传用户:linnber
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统从最初的网络文件系统发展至今,逐渐形成现阶段的云存储。它是在云计算(Cloud Computing)概念上延伸和发展出来的一个新概念。在大集群、动态的分布式文件系统中,随着文件数量、文件访问次数的增加,中心节点将成为整个系统的性能瓶颈。因此,减少中心节点在分布式文件系统中的依赖性是很重要的问题。此外,还有一种基于分布式哈希表(DHT)的分布式文件系统,其中不存在中心节点,并且文件根据DHT算法,均匀分布于系统中。但是,伴随着文件修改、热点出现,系统将无法保持负载均衡状态。负载均衡在分布式文件系统中是很重要的问题。系统负载状态影响着集群存储利用率和网络吞吐量。同时,已均衡的集群能够有效避免热点的出现,提高系统响应速度。因此,本论文将对基于DHT的分布式文件系统负载再均衡问题进行深入的研究。通过对现有负载再均衡算法研究与分析,其执行过程中,由于负载信息获取的局部性,导致在数据迁移过程中出现抖动的现象,并且数据迁移过程中会导致额外高负载节点的出现,从而影响负载均衡效率。因此,本论文通过扩大随机样本节点的个数,使计算出的估计值更加贴近实际值;在选择后继节点的过程中,采取双向延伸的方式,找出满足条件的后继节点,以此减少多余的数据迁移操作。该算法有效地解决了抖动现象的发生,避免了额外高负载节点的出现。同时,副本管理和节点选择也是分布式文件系统中的重要问题。文件系统中的副本分发策略与DHT算法中的文件分发策略不兼容。本论文通过采用软链接方式将副本存放位置重定向,保证两种策略的兼容。结合负载再均衡算法提出节点选择策略,避免数据迁移过程中,多个低负载节点同时选择同一个高负载节点的冲突问题。在负载均衡算法的应用中,使用Space-filling Curve将节点物理位置与逻辑位置对应起来,同时利用节点容量使用率将异构节点集群转换为同构集群。综上所述,本论文提出一种ILR(Improved Load Rebalancing)算法。采用Matlab数学软件和Chord仿真程序对分布式文件系统的负载均衡算法进行实验仿真。仿真实验生成数据后,将本论文提出的ILR算法与现有的负载在均衡算法从累积分布函数、节点负载状态、数据迁移次数和负载信息交换次数四个方面进行比较与分析。结果验证了ILR算法的有效性。
其他文献
客观地说,目前我国金融监管中监管越位、缺位、不到位的问题仍然存在,金融监管的效率还有待提升,金融领域的市场化改革尚未完成,法律法规以及消费者保护机制尚不健全。如何尽
针对当前冲突探测技术难以同时实现精准识别与实时识别的问题,研究基于概率神经网络(PNN)的通用航空器冲突探测方法。将冲突探测视为模式识别问题,通过冲突模型分析,提出了航
<正>本文以内蒙古乌拉特前旗大佘太镇的问卷调查和走访为基础,调查了农村小额信贷的现状,包括农村现状和信用社小额信贷资金的利率现状的供求现状及运用的现状,从中发现了以
本文着重分析了多源数据融合的故障事件等级自动识别,同时探讨多源数据融合的故障事件快速恢复辅助决策。
低温水源复叠式高温热泵系统可以有效利用低温水源,稳定制取80℃高温热水。利用C语言建立工质热物性、系统主要部件以及整个热泵系统数学模型。通过分别调节低温水源温度、低
公立医院在我国医疗体系中占据主体地位,具有明显的资源优势。在人才队伍的薪酬福利方面,参照事业单位标准执行。员工福利作为薪酬制度的重要组成部分,对员工绩效和组织绩效
机械可靠性优化设计是以机械产品的可靠度作为目标函数或约束条件,运用优化设计方法获得最佳设计方案的现代设计方法,文章以高铁齿轮传动系统为研究对象,以减速器体积小、系
中国共产党的纪念活动是指为纪念重大历史事件、重要历史人物以及国际共运主要节日而举行的一系列活动。中国共产党的纪念活动促进了"马克思主义中国化"概念的广泛应用,推动
马克思批判地继承了前人的研究成果 ,在劳动价值理论的基础上 ,最终制定了剩余价值理论 ;剩余价值理论是马克思经济理论的基石 ,其创立具有伟大的理论和现实意义 ;剩余价值理