I/O密集型并行应用性能预测的研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:WSFLTS
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机领域的一个发展趋势是CPU运算速度的提升要大大快于磁盘的数据传输效率的改进,它们之间的差距不断扩大,逐渐成为分布式计算中不可忽视的一个因素。在这个背景下,对并行程序的I/O行为做出准确的性能预测就显得尤其重要,它在发现系统瓶颈、评估程序性能等方面都有着重要意义。本文获取运行日志的方式是利用PMPI接口编写封套函数,在封套函数内截获原始程序的信息,这些封套函数被编译为一个动态库,它们可以在不重新编译原始程序的情况下获得原始程序的运行信息。本文还设计了一系列规整化运行日志的方法,以助于后续的合并、压缩操作。针对原始程序各个进程的运行日志的内容基本一致的特点,本文提出了三种合并算法有效的去除这些冗余信息,并对它们的效果进行了详尽的分析。其中的基本合并算法在实际应用中效率很高,但通用性不佳;基于后缀树的算法具有最好的时间复杂度,但实验表明其效率要低于其他的算法;基于最长公共子序列的合并算法拥有近乎线性的时间复杂度,具有较好的通用性,并在实验中表现了不错的效率,本文最后选用的合并算法是基于最长公共子序列的合并算法。并行程序的运行日志相当于将原始程序中的循环全部展开,导致记录下来的日志十分庞大。日志中的这类循环结构可以由本文的循环收缩算法全部发现并收缩。日志中的循环识别问题可以抽象为字符串中的连续重复子串识别问题,本文的循环收缩算法是基于后缀树的,其最坏时间复杂度为O(nlogn),这一算法的性能要优于以往的日志循环收缩算法,实验表明本文收缩算法的性能是次优算法的5~10倍。本文根据处理后的运行日志可以成功模拟出原始程序的行为,以此自动构建出来的特征程序可用于预测并行任务的性能。我们使用IOR并行I/O标准程序、NPB-BTIO标准程序以及MPI-TILE-IO程序进行了实验,实验结果表明本文构建的特征程序可以较准确的反映原始并行程序的计算特征和I/O特征。
其他文献
无线局域网由于其在网络构建及用户移动性等方面比有线网络更加方便、灵活和快捷,因此被广泛应用于经济、生活和科研等领域。然而无线局域网具有空间上的开放性,这就使它在安全
随着Internet在全世界的迅猛发展,各种信息资源越来越丰富。信息检索作为互联网的核心技术具有极大的商业价值;信息检索还直接影响到提供给用户什么样的信息;同时信息检索也是情
在把自然语言理解与虚拟场景生成结合起来的“文景转换”研究中,对空间概念的理解是关键。国家自然科学基金项目“基于Ontology的文本中空间关系的三维可视化”就是对篇章中
在图象处理和计算机视觉研究领域中,对象定位一直是一个饶有趣味并富有挑战性的课题。对象定位技术在诸如工业自动化、智能控制、医疗辅助诊断、人机交互领域、武器精确制导等
目前使用的人工抄表方式已日益不能满足管理自动化的需要,故本文提出了若干种实现自动化的方案,其中基于公共开关电话网络的调制解调器通信方式自动抄表是最能体现自动意义的。
人工免疫系统是继人工神经网络和进化计算之后又一种新型的智能计算方法,是生命科学和计算机科学的交叉学科研究领域。生物免疫系统是一个自适应、自组织、自学习的分布式并行
信息检索(Information Retrieval, IR)是研究信息的结构、分析方法、组织、存储、搜索和检索等方面的计算机科学。对检索模型的研究在信息检索领域处于核心地位。不同的检索
现实世界中存在着许多多目标优化问题(MOP),传统的规划算法不能很好求解这些问题。而多目标遗传算法(MOGA)擅长于求解高度复杂的多目标优化问题且通过一次运行可以搜索到一组
多机器人追捕问题是多机器人系统研究中的一个典型问题和重要平台。它研究在特定的环境下,设定怎样的规则,使得多个追捕机器人对资源进行合理的分配、协调与竞争,对一个或多