论文部分内容阅读
随着互联网行业的发展,如今的互联网正处于一个信息爆炸的时代。IaaS(Infras-tructure as a Service)云常常被用来部署大数据分析和其他各种类型的应用。虚拟机被认为构建IaaS云的基础,而虚拟机常常是基于虚拟机磁盘镜像(VMDI)构建的。对象存储可以让云提供商轻松地扩大存储规模,并且它通过备份数据副本的方式保证了存储的高可用性。存储介质方面,SDD在性能、能耗等方面相较于HDD有较大的优势,但是由于其高昂的价格与存储空间,让SSD完全替代HDD成为企业级数据存储还是不太现实。软件定义存储,由于其通过自治的方式对存储集群的结构进行优化,它更加适合运用于将SSD与HDD混合的存储系统。WHOBBS[1]之前关于混合存储的研究,它基于对象存储为虚拟机提供混合存储的块服务。它在Ceph[2]的基础上,构建了一套完整的混合存储系统,但是WHOBBS由于其单监控器架构,导致监控器成为系统的性能负担。本文设计和实现DOBBS系统,它在WHOBBS的基础上进行了扩展,DOBBS为多监控器架构,并将整个集群分割成多个子集群。为了充分利用SSD和HDD混合存储的高效性,我提出了局部热均衡的概念,局部热均衡截取了虚拟机的运行时信息,然后动态地计算数据流信息得出合适的对象放置策略,最后在SSD和HDD间迁移对象。在分割成子集群之后可能遇到子集群间热度分布不均衡的情况,我提出了一个全新的叫做全局热均衡的概念。全局热均衡主要包括热度不均衡的检测和热扩散散。在热度不均衡检测部分,我提出了衡量子集群热度的方法以及热度检测的算法。热扩散是全局热均衡的重点,为了解决大规模数据迁移,我提出了全新的源自于物理学的概念——热扩散。我只对元数据进行迁移,并且修改子集群的逻辑结构,而后续的数据迁移则是交给局部热均衡来完成的。在系统设计的基础上,我对系统加以实现,并介绍了 DOBBS的各个模块的实现细节和主要工作流。在文章的最后,为了验证DOBBS的高效性,我进行了大量的实验,首先证明了局部热均衡的高效性,其次我证明了 DOBBS有能力解决WHOBBS监控器的性能问题,以及全局热均衡的有效性。