论文部分内容阅读
结合云计算优点、专门针对高性能应用而设计的云平台近几年来受到广泛关注。相比于传统云计算平台,高性能云平台独占式分配虚拟机从而避免性能干扰,采用万兆以太网而非千兆以太网互联,集成高性能服务器专用处理器、更大的内存、容量更大的本地块存储设备。研究表明,对大量计算密集型和内存密集型高性能计算程序,高性能云平台的计算资源及服务能提供可比本地集群的性能。但是,高性能云平台往往没有直接提供支持并行读写的服务,用户通常需要在虚拟集群上自行搭建存储系统。普通用户根据应用程序的特点配置存储系统变成可能,但是如何选取优化配置十分具有挑战性。本文的主要研究工作从定义高性能云平台存储系统的可配置性出发,建立自动化选取优化配置的预测模型,最后提出并实现一个快速、有效的评测方法。本文的主要工作包括:(1)系统地定义了高性能云平台存储系统的可配置性,并首次提出利用该可配置性优化性能或降低成本。本文以亚马逊高性能云平台为例,量化分析了存储系统的可配置空间,发现不同存储系统配置对不同应用程序具有显著的性能和成本差异,因此用户在高性能云平台上进行配置时需要分析并结合目标应用程序的行为特征实现优化配置。(2)基于部分代表性数据,建立了输入输出负载特征到存储系统优化配置的映射模型,可根据用户输入的负载特征预测优化配置。为建立预测模型,本文提出基于众包方式渐进式探索可配置空间,并给出一种从可配置探索空间中收集代表性数据的方法。在该方法指导下,本文从真实云平台上收集了初始可用数据集,建立了面向特定应用程序负载特征的优化配置预测模型,集成并评估了两种成熟的机器学习算法。(3)首次设计并实现自动生成精简程序的原型系统。本文利用程序切片方法自动从原始程序中抽取输入输出操作的相关语句,生成和原始应用输入输出负载特征一致的精简程序,用于对高性能云平台存储系统配置的快速、有效评测。