基于Swift的小对象访问性能优化研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:shaoyuqi521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着互联网的快速发展与普及,越来越多的个人用户在使用网络应用的同时产生大量的数据。而云技术的发展也使得更多的企业用户选择将数据服务迁移到云中。在电子商务、社交网站、视频服务等网络应用中,服务端每天都产生大量的小文件,久而久之小文件的数量呈几何级增长。传统的存储系统往往针对大文件进行设计,在面对小文件存储时往往性能低下。本文以Openstack Swift分布式存储系统为实验平台,利用小文件存储的特点,对存储系统读写性能优化进行研究。首先,Swift中的对象服务通过调用底层文件系统对数据进行读写。在面对小文件的随机访问时,存储节点需要频繁从磁盘中读取元数据,浪费了大量的磁盘I/O。本文提出对文件进行合并存取的Swift改进方案,并在内存中建立文件的索引,减少元数据使用空间。存储节点可以将所有的文件元数据缓存在内存中,在小文件访问时只需要一次连续的磁盘I/O操作,以此改善Swift存储系统在处理小文件场景下的随机读写性能。通过对文件组织形式的改变,以虚拟分区进行文件整合,以此降低数据迁移时对系统带宽的影响。其次,对于分布式存储系统,其外部的CDN服务往往具备缓存功能。时间局部性强的数据通过被外部缓存被读取,从而导致存储系统本身的数据缓存命中率降低。本文提出基于预取缓存的Swift改进框架。将对文件访问的日志记录进行分析,利用数据挖掘的方式计算出文件的访问模式。将相关性强的小文件进行合并存储,并且在访问过程中对文件进行预取,用以增加Swift存储系统的数据缓存效果。在缓存过程中对文件的相关率进行验证,降低错误的预取对系统性能的影响。最后,本文通过Cosbench模拟不同大小的文件读写,对整合了合并存储优化模块的Swift存储系统进行测评,验证对小文件读写的性能的改进效果。并通过真实的访问日志,模拟其访问过程,分析预取模块对系统性能的影响。实验表明,基于合并存储的方式在面对越小的文件时,系统带宽提升效果越明显。合并的方式也可以有效的降低数据迁移对系统吞吐量的影响。基于文件关联的预取策略虽然会降低系统带宽,但可以有效的提高系统的平均响应时间。
其他文献
基于构件的开发和模型集成的开发是目前软件工程领域中研究的热点,构件化开发是通过标准化软件系统的组成元素,以构件为单位构建系统。模型集成旨在通过提高软件的抽象层次,将软
随着社会的发展,目前的互联网所暴露出来的弊端已日益加剧,诸如IP地址不足、安全性弱、兼容性差等,上述缺陷已经影响到用户对网络业务的使用。因此,国外内针对目前互联网的缺陷,大
大数据时代的到来,从海量数据中提取有价值信息对企业,政府等部门至关重要。本文主要研究内容是大数据下的OLAP分析。Hadoop——集分布式文件存储HDFS和并行计算模型MapReduce
TTCN-3是欧洲电信标准协会(ETSI)于2001年推出的一种测试描述语言,可用来描述对交互式系统的黑盒测试。通过使用TTCN-3,能够将测试的抽象描述和测试具体的实现分离,提高测试
随着计算机及网络技术的发展,基于网络的学习方式越来越普遍,网络学习系统也大量地被开发出来。然而目前的网络学习系统普遍存在:交互性不强,不能进行个性化教学,学习缺乏引导,缺乏
网络化通信是PLC(Programmable Logic Controller)的发展方向,而主从通信是PLC的基本通信方式,大量地应用在工业现场设备等控制系统中。主设备通过读取或写入从设备内存量,达
频繁模式挖掘是数据挖掘中的一项重要工作,也是关联规则挖掘的一个关键步骤,可以应用于诸如分类、聚类、预测等数据挖掘任务中。目前,关联规则挖掘结果多以在线交互方式导出,
作为世界上人口最多的国家,加强计划生育和人口管理现代化,对于我国各项事业的发展至关重要。利用先进的计算机网络技术,建立联网的育龄妇女服务与管理信息系统,实现育龄妇女
近年来,无线传感器网络伴随着微电子技术、无线通信技术和网络技术的发展而产生,其无需基础设施、具有自组性、随机部署和多跳的特性使其应用越来越广泛,涉及到军事、商业、环境
随着网络经济的兴起,电子商务得到了快速的发展与应用。因而也促进了社会对电子商务方面人才需求量及其素质要求的提高。这就对电子商务人才的产地之一:学校,提出了更高的要