大数据平台分布式存储资源自动部署研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:yy04081406
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大量的基于互联网的服务与大量的服务托管在云平台上的趋势日益流行,需要更加强大的后端存储系统来支持这些服务。一方面存储系统自身应该要有更强大的处理高并发和高强度的工作负载的能力。分布式存储是当前一种很优秀的解决办法。它将会实现以下特性:伸缩性、可用性、持久性、一致性以及分区容忍性。目前实现一个分布式存储来满足以上所有设想是非常困难的或者说是不可能的。因此,把研究的重点放在限制不同的特性来设计不同的分布式存储解决方案来满足不同的使用场景。另一方面,随着云计算技术的发展为设计分布式存储带来了新的挑战。为了更好的在云计算中使用现收现付的价格模型,一种动态的资源部署中间件被提出来(如弹性控制器)。弹性控制是能够帮助节约应用的程序的配置成本,同时不损耗应用的性能。设计一种弹性控制机制来自动部署分布式存储系统是非常重要的。这个问题将要面对的挑战是对系统的工作负载的正确判断和在伸缩系统的时候的数据迁移开销(即是系统添加或删除实例的时候传输数据消耗的时间和资源)。本课题设计的自动部署系统主要是采用了工作负载预测的方法来实现的。主要是通过监测存储系统的性能指标数据(请求延迟、cpu利用率、实例数量等),通过检测的工作负载数据来预测系统下一个时期的工作负载情况,以及使用检测的数据推出系统满足SLA的最小配置,从而在下一预测窗口开始前重新部署系统规模。在添加或移除实例的时候会做一个数据的迁移,使服务请求更加均匀的访问每一个存储实例。对工作负载的预测是整个系统的核心部分,本课题采用了基于维纳滤波器的原理实现的维纳预测器来预测每一个工作负载预测窗口的工作负载,这也是本课题的创新点。对于预测工作负载本文采用特定类型的工作负载,根据其周期性将工作负载分为特定时长的预测窗口,在每一个预测窗口开始的时候预测下一个预测窗口的工作负载。最后,通过大量的实验和测试对本课题提出的提出的预测算法以及验证分布式系统的性能,证实了基于维纳预测的方案能够在保证SLA的前提下,节约平台资源同时也就节省了配置成本。
其他文献
随着信息技术的发展,海量数据库迅速增加,然而对其进行有效分析处理技术的缺乏,促使数据库中知识发现(Knowledge Discovery in Databases,简称KDD)技术的应运而生。数据挖掘(Data
近年来,软件定义网络(SDN)的理念快速兴起,同时兴起的还有SDN网络最有影响力的协议之一OpenFlow。SDN能够解决传统网络中网络结构复杂、网络管理复杂、新业务部署缓慢、厂商
聚类法在数据挖掘中具有很高的地位,但是很多传统方法只能对固定的数据集进行处理。随着技术的发展,许多领域,如互联网中的数据传输、通信网络中的通话数据、网站访问日志等,
随着互联网和信息技术的快速发展,特别是Web的全球普及,使得Web上的用户数目和信息量都在不断地增加。这样就产生了两方面的主要问题:一方面是如何让站点提供者通过分析用户的浏
在医学可视化中,一些快速简单的方法通常被广泛的应用到实际中,如最大强度投影算法,其优点在于绘制速度快及交互的实时性,然而会造成最终图像的深度失真。为了将此类算法更好
随着Internet的飞速发展,互联网的信息大爆炸给人们带来信息过载的问题,新闻资讯作为人们接触最多的一种媒体信息,发布方式已经从传统媒体逐渐的转移到互联网上。新闻资讯作为互
移动机器人视觉导航过程中图像处理的关键问题是道路识别和障碍物检测,论文是基于计算机单目视觉技术对非结构化道路识别和运动障碍物检测进行研究。在已有的技术基础上,经分
光线跟踪是一种真实的显示虚拟场景的算法,该算法所渲染出的图像具有非常逼真的效果,清晰度可以达到照片的级别,而且算法的原理简单易懂,实现方便,因此自从光线跟踪算法出现
长期以来,存储一直都是整个计算机系统的性能瓶颈之一。人们总希望获得低延时,高可靠,低能耗,持久化的存储设备。而新型非易失型存储器(NVM,Non Volatile Memory)的出现,则使