【摘 要】
:
随着云计算技术的快速发展与其高可靠性、高便携性、按需付费等优点的展现,吸引了组织机构和个人将应用和服务部署到云计算平台上来。众多数据分析工作流应用也逐渐完成了向
论文部分内容阅读
随着云计算技术的快速发展与其高可靠性、高便携性、按需付费等优点的展现,吸引了组织机构和个人将应用和服务部署到云计算平台上来。众多数据分析工作流应用也逐渐完成了向云计算环境的迁移。在云计算环境中部署的数据分析工作流应用利用云服务商提供灵活的购买方案与弹性容量等优势的同时,调度与执行也面临着新的挑战,浮现出了一些在云环境下特有的问题。这些问题主要表现在下面几个方面:(1)利用多种购买方案降低成本的问题。竞价实例售价更低,可以用来优化调度成本。(2)中间数据集的再生与存储权衡问题。使用竞价实例容易造成任务重启,任务所需的中间数据集可以从云存储服务中获取,也可以通过其他关联的数据集计算生成,两者如何进行选择。(3)工作流结构动态变化的模型优化问题。有些工作流在实际执行过程中,结构会随着用户输入的变化而动态改变。根据模型结构的变化特点,考虑分支负载均衡的同时为用户优化调度成本,值得深入研究。针对以上问题,围绕节省用户调度过程中产生的费用,本文主要做了以下的研究工作:1.提出了一个截止时间约束下竞价实例与按需实例混合使用的调度算法,保证数据分析工作流完成时间的同时,减少调度产生的费用。2.提出了一个中间数据集选择存储策略,权衡数据集再生成本与存储成本,优化数据密集型工作流执行过程中存储费用与计算费用的总和。3.针对结构动态变化的数据分析工作流模型,以面向超参数调优的数据分析工作流为例,提出了一个并行分支组合调度算法,使用更少的实例,考虑负载均衡,满足用户给定的完成时间约束的前提下,为用户节省费用。最后,对云计算环境进行仿真,设计实验模拟数据分析工作流的调度过程。与多种调度算法进行对比,本文提出的算法能够在各自应用场景下为用户节省调度开销。
其他文献
针对四川省九寨沟2017年8月8日发生的7.0级地震引起的地表形变,使用欧空局2014年发射的Sentinel-1A卫星C波段雷达影像数据,采用两轨雷达差分干涉技术(D-InSAR)处理得到了研究
随着社会的不断发展,各国之间的交流联系日益频繁,英语作为全世界使用最多一个语种,与我们的联系也更紧密。我国自实行改革开放以来,酒店行业也吸引了非常多的外资酒店进驻市
"一带一路"倡议的提出对于中国企业来说是一个难得的发展机遇,然而中国企业在与"一带一路"沿线国家合作时必然会受到不同文化的影响。在对跨文化管理冲突分析基础上,探讨了中
进入19世纪中后期,随着西方资本主义列强的到来,东北亚局势跌若起伏,西势东渐的局面也渐渐形成。东西方两种不同文化相碰撞使得中国在东亚的优势地位逐渐丧失。日本自明治维
目的通过分析银川市公共场所卫生行政处罚案件,了解银川市公共场所卫生行政处罚现状和存在问题,为进一步做好公共场所卫生监督管理工作提供依据。方法对2011—2013年266起公
我国公共交通发展迅猛,地铁已经是大中城市公共交通中的重要组成部分。民众对移动通信的要求也越来越高,这就要求在地铁的站厅站台以及隧道内具备优质的移动通信网络。解决乘
当下,随着计算机体系不断向多核异构结构发展,其计算能力也不断得到提升和突破,计算物理中大规模和高计算量的问题也有了研究的契机。蒙特卡洛法作为非常重要的一种模拟方法,
随着现代无线通信技术的发展,资源紧缺现象越来越严重,这就导致人们对频谱分配方式的思考,为解决这种频谱资源紧缺现象,研究者们提出了认知无线电技术。认知无线电(Cognitive Radio,CR)的接入方式是机会频谱接入,认知用户通过频谱感知技术感知动态频谱环境,得到与授权用户即主用户共享授权频段的机会,因此,频谱感知性能的提升在认知无线电中至关重要。本文是以频谱感知控制方法的研究为重点,搭建了一个
居住空间是城市空间的重要组成部分,在居民日常生活中扮演重要角色。伴随快速城市化发展,我国涌现出大量封闭小区,造成占地面积扩张、街道活力丧失、城市空间隔离等问题;同时也形成日益趋同的城市风貌,促使富有地域性的居民日常生活逐渐消逝。成都市于2015年提出“小街区规制”,促使居住空间迈向转型之路。本文从日常生活视角出发,运用文献研究法、图表研究法、归纳与分析法、实地调研法对成都现状的街区制居住空间展开研
黄土的冻融循环是我国季节性冻土地区所持续发生的一种自然现象,我国西北部地区以黄土为基础的各类建筑物在建设及使用阶段,也无法避免冻融循环作用对基础的影响。在持续发生