异构环境下能力感知的主动存储关键技术研究

来源 :武汉大学 | 被引量 : 1次 | 上传用户:ctrl111shift
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
主动存储是利用存储设备自身剩余的处理能力,把本由应用程序执行的部分计算管理任务向存储设备迁移,通过在存储设备上就近处理数据方式减小I/O瓶颈对系统的影响。在当前大数据环境下,不少数据密集型应用的数据访问量都是PB级别,主动存储对解决这些应用中的I/O瓶颈起着重要作用。然而,目前主动存储系统存在异构性,主要是处理器、存储介质和操作系统等方面的异构。与此同时,现有主动存储执行框架和数据放置方法仍然是为同构主动存储系统而设计。因此,找出适合于异构主动存储系统的主动存储执行框架和相应的数据放置方法对构建高效主动存储系统具有十分重要的意义。本论文针对异构主动存储,从四个方面进行了研究:1.提出了一种基于Java虚拟机(JVM, Java Virtual Machine)的异构主动存储框架。该框架采用JVM运行Java代码以实现用户主动存储功能,从而解决异构平台主动存储执行问题。该框架扩展了标准OSD模型,通过提供新的代码下载、代码关联、代码触发和代码执行四个接口,使得用户主动存储代码从客户端下载到OSD上,并在OSD上按用户需求执行这些主动存储代码。最后,通过实验验证基于JVM的主动存储结构框架,结果表明该框架能跨平台执行主动存储,并且这种跨平台的设计在很大程度上可以提高系统的性能。2.提出了一种存储能力感知的非均匀的主动存储数据放置策略(SDD,Skewed Data Distribution),有效解决异构存储设备在主动存储处理中因为性能不同而相互等待的问题。与传统主动存储系统采用均匀数据放置策略不同的是,SDD策略根据每个服务器性能的不同,在不同服务器上放置不同数据量。首先,通过提出一种评价主动存储处理开销的成本模型,来衡量不同存储设备在主动存储过程中的时间开销,从而找出理想数据放置策略,并把数据放置的优化问题转化为在一定约束条件下的四个线性规划优化问题。该策略能解决混合主动存储系统中高性能计算应用的性能的问题。然后,在并行I/O系统中实现了一个SDD策略的原型系统,并通过典型的数据处理应用验证了提出数据放置策略的有效性。最后,实验结果表明我们提出的数据放置策略能显著提高整个主动存储系统的性能。3.提出了一种计算能力感知的主动存储数据放置策略(CADP,Capability-Aware Data Placement)。该方法是一种在异构主动存储系统中分布数据的新型数据放置方案。首先,这种能力感知数据放置方案根据新提出的整体度量指标一处理率,来评测异构集群中各存储节点的数据处理能力,包括计算能力和存储能力。然后,根据各节点的数据处理率来分配存储节点上的数据存储量,从而避免异构服务器上的负载不均衡。我们在并行I/0系统中实现能力感知数据放置方案的原型,并评测其典型应用程序的性能。实验结果显示能力感知数据放置方案能明显提升主动存储系统性能。4.提出了一种自适应主动存储任务调度策略(AASS, Adaptive Active Storage Scheduling),动态地将主动存储任务调度到存储结点上执行或者在原有计算节点上执行。在大规模主动存储系统中,不同主动存储任务具有不同特点,并不是所有任务都适合在存储节点上执行。为了确定主动存储任务执行方式,AASS提出了一种主动存储任务执行时间模型,以评估主动存储任务分别在计算节点和存储节点上执行的时间开销。在任务执行过程中,AASS根据该模型预测主动存储任务在不同节点上执行时间,并自适应地将该任务调度到执行时间较少的计算节点或者存储节点上执行,从而减少任务整体执行时间。
其他文献
目的分析垂体瘤切除术患者术后实施临床护理路径的价值。方法选取2017年1月~2018年5月来我院行经鼻蝶窦入路垂体瘤切除术的患者60例作为研究对象,将其随机分为观察组(临床护理
为庆祝中华人民共和国建国60周年,本刊特别邀请首都儿科研究所米杰教授、李辉教授分别撰写了《中国儿童生存状况:婴幼儿死亡率变化趋势》和《中国儿童生长状况:营养和发育变化
会议
在提出结蜡处理方法的基础上,探讨了管壁结蜡及主要约束条件值变化对输油管道优化运行的影响,同时,又提出了结蜡危险区的概念,分析了管道承压能力与出站节流损失的关系.结果
滥觞于“五四”时期以鲁迅为起点的现代乡土小说创作到20世纪30年代左翼时期乡土小说已经发生了明显的变化。本文将以具体文本为例,从题材选取、出发点和落脚点三个方面来分
道路扬尘已成为城市颗粒物重要来源之一。为了甄选有效的采样测试方法,分别采用降尘法和积尘负荷法对北京市4种不同类型的道路扬尘进行采集,通过分析获得降尘量和积尘负荷的
中国现代化支付系统(CNAPS)由大额实时支付系统和小额批量系统两个系统组成,主要提供跨行、跨地区的金融支付清算服务,能有效支持公开市场操作、债券交易、同业拆借、外汇交
目的探讨复杂主动脉夹层患者的临床护理和康复指导。方法选取108例复杂主动脉夹层患者为研究对象,将其按照住院先后顺序分为观察组与对照组,各54例。给予对照组患者常规护理干
时代的发展对企业财务管理工作提出了更高的要求,与此同时,经济的发展以及市场竞争的日趋激烈也对企业财务管理工作提出了更高的要求,这两个更高的要求扭成一股合力,推动着企
系统地阐述了在役管道的安全评定方法.根据管道不同形式的腐蚀缺陷,提出了爆破失效模拟的非线性有限元方法,建立了能反映缺陷深度、内压、缺陷处最大应力、管材性能参数等四