基于小规模数据的高性能计算程序性能建模方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yoyoliuy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
性能建模是高性能计算领域中一个非常重要的问题。通过对历史数据、领域知识等对并行程序的运行性能进行建模,以帮助运行时间预测、性能调优等。近年来,一些学者将机器学习应用在高性能计算的性能建模中并取得了一些研究成果。机器学习可以从历史数据中学习知识,发现并行程序的运行性能和参数之间的规律。但是在根据小规模的运行数据对其大规模的运行性能进行预测时,由于独立同分布假设不成立,使用单层模型方法无法对大规模下的性能进行准确的预测。其中小规模指处理器数量在历史运行数据的处理器范围内,大规模指处理器数量超出历史运行数据的处理器数量范围。
  针对该问题,本文提出了两层模型方法。内推层对应用待预测数据的程序输入参数在小规模处理器下的运行进行预测;外推层根据内推层预测结果,建立反映程序输入参数固定时,程序性能和处理器数量之间关系的强可扩放性模型,对大规模处理器下的运行性能进行预测。本文的主要工作如下:
  1.针对根据小规模处理器下历史数据对大规模处理器下性能进行预测的问题,提出了两层模型框架。两层模型框架的内推层使用随机森林对小规模处理器下的性能进行预测,获得高精度内推预测,并且内推误差具有随机性;在外推层使用多任务学习降低内推层误差对外推强可扩放性模型的影响,对大规模处理器下的运行时间进行合理外推。
  2.在真实的超算平台上实验,分别使用四种单层模型方法和提出的两层模型方法对两个高性能计算应用MCB和Kripke进行性能建模,并对单层模型方法和两层模型方法在两个应用上的表现进行了比较和分析。实验结果表明,和单层模型相比,两层模型方法对大规模处理器下的性能预测误差更低。
  3.对内推层模型和外推层模型分别进行分析。通过对随机森林预测误差的分析,验证了随机森林作为内推层模型的有效性。通过单任务学习和多任务学习之间的对比,验证了外推层使用多任务学习的必要性。此外,还分析了聚类在两层模型中的作用。
其他文献
牵引变电所绝缘子污闪是一种频发的严重事故,其发生具有一定的阶段性,是由于绝缘子表面积污严重且污层受潮时产生局部电弧,直至发生沿面闪络。泄露电流变化过程可有效反映绝缘子污闪的发展过程,传感器可有效地监测泄漏电流的变化过程,通过数据趋势可分析绝缘子的积污程度,有效提高牵引供电系统的安全性和可靠性。因此,设计人工污闪仿真装置是有意义的。针对这些问题,论文设计了绝缘子污闪仿真装置,该装置通过模拟绝缘子污闪
该论文首先针对在直接转矩控制系统中当磁链区段变化时,采用传统的开关状态表,电压矢量对磁链幅值的影响较小,引起磁链歧变的现象,将电压矢量分解为径向和切线分量,通过分析两个分量对磁链的影响,引入区段细分原则改进了开关状态表,改善了系统性能.转矩和磁链的控制是以辨识出的定子磁链为基础的,因此磁链辨识是控制系统的重要部分.论文根据磁链的电压模型和电流模型之间的误差,通过PI调节器补偿定子压降对磁链的影响,
近年来,随着电网配电侧智能化和信息化的进一步推进,非侵入式电力负荷监测(Non-intrusiveloadmonitoring,NILM)技术成为当前智能电网研究的热点问题。以国家电网、南方电网等为首的电力公司正逐步试点推广具备负荷感知功能的智能电表,加快智能量测体系的建设进程。然而,在现有的辨识算法中,常用的电力负荷特征已经很难提升辨识准确率,准确率有限的问题成为了非侵入式负荷监测研究的技术瓶颈
学位
电能表运行的现场环境复杂多变,这就导致电能表在现场的表现与在实验室内检定的表现有所不同,因此电能表的现场检定亟需研究。关于电能表现场检定,不仅要制定现场检定规范,还要保证便携式标准表在实验室内能准确检定。在后者的研究中,还存在着如何确定电能表误差影响因素、如何进行各影响因素的误差实验、如何利用各影响因素的实验误差预测多维因素影响的综合误差的问题。本文通过机理分析、实验建模解决这些问题,研究内容有:
学位
随着我国经济水平不断提升,能源需求逐渐增加,能源问题变得愈加严重。电力是居民日常生活消耗的主要能源。因此,加强居民用电管控是实现能源节约的有效途径。但是,当前应用的用电管控系统智能化、数字化程度低,开发、管理难度大,系统实时性、兼容性和并发处理能力较弱。本文针对以上问题,研究了一套基于物联网和边缘计算的用电管控系统。  本研究首先对当前用电管控系统的不足进行了分析,总结了国内外相关研究的现状与趋势
随着我国工业化和城镇化进程的加快,建筑能耗在能源消耗中的占比越来越大,热水供应作为建筑能耗的重要部分,降低其能耗就显得尤为重要。而传统供热系统普遍采用“定温度、定时间、定水位”的方式实现启停的控制策略,通过对系统参数进行监控和设定,实现水泵和阀门等关键部件的开关操作。近年来,随着物联网技术的快速发展,供热系统从传统的现场控制模式发展到了远程在线监控模式。由于缺少智能化的控制算法,无法实现系统的自适
经验小波变换(Empirical Wavelet Transform,EWT)是近几年提出的一种高效的信号处理方法。该方法的主要原理是将信号频谱进行划分并利用较为成熟的小波理论框架将划分的结果对应为时域上的模态分量。EWT频谱划分是整个算法非常关键的步骤,划分结果是否合理直接决定了模态分量的质量以及后续的工作。原EWT算法对信号频谱划分过分依赖频域的幅度特性,使其对频谱划分的结果物理意义不明确,容
学位
海洋是人类生产生活中必不可少的资源与能量源泉,对于促进人类社会经济发展、维护国家主权权益、提升国防安全能力建设等方面具有至关重要的作用。海洋环境观测是海洋研究领域重要的组成部分,通过海洋环境观测所获取的海洋资料信息,对于海洋防灾减灾、保护海洋生态环境、维护海洋安全以及开展海洋科学研究等具有重大意义。但对于任何一个区域海洋观测网络而言,由于区域海域水体庞大且其在不同时间、空间尺度上变化多样,能够利用