分布式文件系统数据读写流程分析与优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yy19871003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代存储系统在众多实际应用中扮演越来越重要的角色,其读写性能的好坏直接影响上层应用的性能。目前,分布式文件系统都是利用扩展性支持不断攀升的性能需求,但规模扩大易导致成本增加、维护困难。虽然基于对象的文件系统利用了存储设备的智能性,但却忽视了存储系统中所有组件是一个有机的整体。存储系统性能好坏的关键在于能否充分发挥系统中各个节点的优势和充分利用节点间的互联网络。着重研究了存储系统中的数据读写流程,并对影响系统性能的关键步骤进行了优化。所做工作全部在实验室研发的基于对象的分布式文件系统Cappella中实现并完成测试。针对数据写流程,设计并实现了根据存储服务器实时负载的动态布局方案。每个存储服务器都有一个实时权重表示其忙闲程度,在文件布局时,根据所有存储服务器的实时负载进行有偏重的随机选择,成功地解决了Cappella系统静态布局容易造成负载不均衡的问题。针对数据读流程,详细分析了Linux内核原有数据预取算法,针对Linux原有数据预取算法的缺点,设计并实现了一种适用于分布式环境的数据预取策略。Linux中的预取算法是针对本地文件系统和磁盘作为存储设备的限制提出的,在分布式环境中显得不足。分布式环境下数据分布在通过专用高速网络互联的多个节点中,因此节点间的互联网络和数据在多个节点上的分布方式成为优化系统性能的关键,分布式环境下的预取算法综合考虑了网络传输的限制和数据分布的特点,有效地提升了系统性能。测试结果表明,数据能在各个存储服务器上按服务器权重合理分布,读带宽在顺序访问和大块的随机访问情况下可以提高30%以上,最高近90%。
其他文献
人脸识别因其重要的科学意义和实用价值而成为当前模式识别领域的一个研究热点。在过去几十年中,学者们提出了许多相关的特征提取方法,比如线性鉴别分析(LDA)、主成分分析(PCA)和保
作为传统DoS(Denialof Service)攻击的改进,LDoS(Low-rate DenialofService)攻击具有相当的危害性且更强的隐蔽性。由于LDoS攻击的高隐蔽性特征,传统的DoS攻击检测方法已无法对其进
随着各种数据来源和数据采集方式的逐渐多样化,机器学习和数据挖掘技术的应用场景日益丰富。机器学习研究的本质要解决智能化学习的基础表示和模型两大问题,前者需要对计算机可
人工智能是计算机模拟人脑的一种智能行为,它一方面对人类智能工作方法的基本步骤进行归纳,另一方面又创造了适合计算机运行的步骤,使计算机具有了与人类智能相似的能力和技
学位
模板匹配广泛应用于图像处理及信号处理领域。科学技术的飞速发展使得图像模板匹配处理的规模越来越大,更重要的是人们对实时图像处理的需求也越来越高,因此,采用通用处理器来实
云计算技术虽然是一种新兴技术,但一经提出就得到迅速发展,凭借自身的优势得到了越来越多国家企业和研究机构的关注,很多研究人员投入到云计算相关技术的研究中伴随着云计算研究
Web系统通常部署于开放的互联网环境,用户输入的随意性对系统的安全验证机制提出了更高的要求。因此检测程序中是否存在有效的安全验证机制成为软件测试领域的重要研究内容。
随着图数据规模的不断增长和属性因素的不断增加,路径查询技术面临如何解决属性自身的繁杂性、属性之间关系的复杂性以及图数据的大规模等问题。这些问题导致现有很多路径查询
随着多媒体和网络的飞速发展,数字视频的数量急剧增加。怎样通过计算机对这些大量的视频进行自动理解,提取出其语义信息,从而方便用户进行高效率的查询和检索,是当前急需解决的问