对象存储系统中热点数据的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiaomeitomei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络的飞速发展,用户对数据需求的不断增加,这给网络存储技术的发展带来了机遇,同时也使分布式存储系统面临越来越多的挑战。在众多的挑战中,如何提高存储系统I/O性能和如何管理大规模复杂存储系统是摆在很多公司企业和科研机构面前的两大难题。一方面,代表用户需求的热点数据,是解决存储系统I/O性能难题的钥匙,但是,当前热点数据在存储系统中并没有得到最大限度地利用,也没有全面而系统地分析,导致整个存储系统的性能并没有得到最大程度地提升。另一方面,随着存储系统的日益复杂,传统的人工管理方式已经不适应现代存储技术的要求,如何把用户的需求传达给存储系统,让大规模存储系统自适应管理也成为一个重要的课题。对象存储和属性管理技术的出现让上述两个难题有了解决的可能。在对象存储系统中,对象代替传统意义的文件,拥有更丰富的语义内容,能够传递更多热点数据的相关信息;结合属性管理技术,分析用户的需求和数据访问特征,提炼出与热点数据相关的属性,可以实现对存储系统进行自适应管理并提高系统的性能。为此,本文首先提出了基于热点数据系统级的解决方案——对实际应用的热点现象进行分析,然后根据实际应用中的热点数据访问特征,率先提出了对象存储系统中热点的定义和分类,结合T10 OSD-3标准建立热点属性页,并针对不同应用和负载给出了基于热点的动态数据组织策略和服务质量保证。其次,针对存储系统中热点预测及单级Cache中存在的问题,结合热点数据的访问特征和类Zipf定律,给出了一个全新的热点预测方法——对象热点预测模型OHPM。并根据阶段性热点的特点,加入了访问频率增长率来预测阶段性热点以作为其补充。根据两种热点对象截然不同的数据访问特征,给出了基于热点的单级Cache策略——采用双Cache栈的方式并实现自适应管理。并对热点命中率和时间粒度的参数问题进行了讨论。再次,由于对象存储系统中启动器和目标器已然构成多级Cache系统,针对当前多级Cache数据隐示中存在的普遍问题,提出了一个创新性的解决方案——基于K步数据隐示的多级Cache算法(Hint-K). Hint-K算法充分运用了升级隐示和降级隐示的历史信息,并可利用K步数据隐示值来简单判断一个数据块的活跃程度。并给出K在不同情况下Hint-K算法的实例分析。最后设计并实现了原型系统——热点属性管理的存储系统HASS,通过实施基于热点的动态数据组织和服务质量保证(HO)、对象热点预测(HP)和单级Cache策略(HC),系统的性能提高了62%并降低了25%的I/O操作。在不同负载下的多级Cache仿真测试中,Hint-K实现了比其它多级Cache算法(如MQ、DEMOTE和PROMOTE算法)更加优异的性能。
其他文献
针对传统挣值管理(Earned Value Management,EVM)模型中未纳入反映质量和安全等不确定性因素的量化指标,难以衡量质量和安全对项目成本、进度的影响,以至于很难有效适用于工
现代财务管理下高级会计人才素质缺失(1)法律意识不强在当今物价猛涨的社会上人们对金钱也看得越来越重,而人们往往在注重金钱与利益的同时,忽略了一个重要的问题我国现在正
期刊
随着半导体工艺不断向前推进,尤其是进入22nm工艺节点之后,浮栅、沟道和介电层等比例缩小带来物理和技术上的极限,将使得硅基flash半导体存储器面临巨大的挑战,发展新型非易
研究了设备远程监测和故障诊断技术的国内外开发应用现状,提出了基于Internet的设备远程监测和故障诊断系统模型,简述了其运行模式。
目的研究部分性发作中围发作期心率(HR)变化在癫痫术前评估中的定侧和定位价值。方法用同步视频-脑电-心电监测记录38例难治性癫痫患者共86次部分性发作的围发作期HR。测量发作