无服务器架构下工作流调度算法研究及实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:laohuob
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
工作流技术是一种起源于办公自动化系统的技术。作为过程自动化与协同技术的一种,工作流技术已经在很多领域(如金融业、制造业、科学界等)得到广泛的应用。为了提高工作效率,许多业务过程都会采用工作流技术,其关键是应用计算机技术把业务过程抽象出来,建立对应的工作流模型来实现自动化处理。随着云计算的发展,服务架构从传统的平台即服务(Platform as a Service,Paa S)慢慢演变到无服务器(以下简称Serverless)架构。通过Serverless架构,开发人员不用过多考虑服务器相关的问题,只需要和预先定义好的接口(以下简称API)进行交互。基于Serverless架构,用户只需要为特定函数的执行时间进行付费,相比于用户需要为虚拟机的执行时间片段付费的传统的基础设施即服务(Infrastructure as a Service,Iaa S)架构,极大影响了大规模伸缩系统的性能提升。然而,由于Serverless架构使用了不同的资源模型,其最基本的资源模型是函数而不是Iaa S中的虚拟机,故现有的基于Iaa S的工作流列表调度算法难以在Serverless平台上实现;此外,由于在Serverless平台上无法控制任务执行的CPU运算速率,现有的基于运行时间估计的列表调度算法也难以在Serverless平台上实现。因此,针对Serverless平台的资源模型,研究基于Serverless框架的工作流调度算法是很有意义的。本文的工作主要有:首先,提出了一个基于Serverless架构的工作流调度系统框架,其使用Knative作为Serverless平台,Kubernetes作为集群管理系统,通过调度、监控、调整、反馈、日志等五个模块,实现对Knative Serving的管理和工作流任务向Knative Serving资源的转换;同时,系统形式化定义用户需要提交的工作流格式,方便用户定义并创建工作流。在调度算法方面,本文提出了一个考虑整体执行时间(即工作流提交到工作流完成的时间差,以下简称为Makespan)和截止时间(以下简称Deadline)的基于Serveless架构的工作流动态调度算法,通过将整个集群的资源分配给多个工作流,相比于传统的静态调度算法,能够满足用户在不同时间、提交不同工作流的调度任务;本文提出的算法无须考虑传统的Iaa S平台调度算法需要使用的各类工作流任务运行时间参数,可以避免误差较大的运行时间估计对调度算法的影响;通过监控反馈机制获取更真实的资源使用情况,本算法可以更为精确地调整工作流任务的实例数;此外,本算法还对集群节点伸缩提供了支持,充分利用了Serverless架构自动伸缩的特性。最后,基于上述研究,在Knative平台上实现了提出的工作流调度系统框架及算法,并在搭建的实验平台上验证了调度算法的性能。实验结果表明,由于采用了监控反馈机制来获取资源的使用情况,本文提出的调度算法可以在整体Makespan和按时完成率上取得更好的调度效果,并适应各种不同的调度环境。
其他文献
随着办公信息化的快速发展,各种信息系统逐渐普及以提高企业经营活动的效率。工作流技术作为流程管理的中间件技术,在办公软件领域扮演着重要的角色。然而在现实业务流程快速变更的情况下,工作流产品预制的功能往往无法满足企业的需要,例如无法实现任务的动态跳跃、回退操作。针对这种不足,对工作流技术领域进行了调查后,以开源软件Activiti5作为基础进行改造,使该框架具有自由选择下一个审批任务的能力,以增加该框
人眼的视线方向包含丰富的注意力信息以及潜在的大脑认知过程,视线估计就是研究如何估计人眼的视线方向和凝视目标,它可以广泛应用在临床研究,人机交互,教育等各个不同的领域。虽然已经有一些商业公司研发出视线估计的工程应用,然而大都非常依赖于特定的硬件设备,使用非常受限。在这种背景下,基于面貌的视线估计方法凭借简单的设备要求,快速的追踪速度越来越受到重视,深度学习在视线估计上的成功应用进一步促进了研究人员对
电阻抗断层成像(Electrical Impedance Tomography,EIT),是一种新兴的非植入性医疗成像技术,相比较于传统的医疗成像手段,它对人体无害且成本较低,适用于长时间连续监测,具有良好的临床应用前景。本文利用EIT传感器芯片设计开发出一套16电极的EIT实时监测系统。首先,开发出信号采集硬件电路并利用LabVIEW编程实现对EIT信号的采集和传输;然后,设计出基于快速傅里叶变
随着国内智能制造的发展,MES(Manufacturing Execution System)制造执行系统的要求越来越高,针对在一条复杂的离散型生产流水线上可能存在几十个工站和总成型号、不同工艺路径组合及数量庞大的原材料种类等问题,如何通过MES改进来提高生产效率,质量控制从而提升企业的竞争力具有相当大的实际运用价值。本文以X汽车零部件公司的生产业务为研究对象,介绍X公司的生产流程和MES概况,通
数据复制中心旨在解决企业面临的各类数据同步问题。常见的问题有:把线上数据同步到数据仓库供后续分析;实现变更数据捕获模式,订阅数据库变更以更新缓存、搜索引擎或是异步触发后续业务流程;在不同数据中心之间做双向同步以提供异地容灾能力等。业界也有一些解决这些问题的尝试,但公开的方案有些只是命令行工具,无法满足企业对可用性的要求;有些只支持特定的数据源,难以拓展到不同类型的数据源;大部分方案使用与源端相同的
S公司用SAP CRM系统处理产品信息、客户信息等主数据以及投诉、故障追踪单和报障单等业务数据。用户除了通过CRM网页客户端进行业务数据的操作,还通过外部应用及APIs与CRM中的业务数据作交互。由于CRM提供的业务数据搜索服务不能满足用户的需求,本文构建了一种新的搜索解决方案,关键是从底层将搜索由数据库搜索切换成SAP TREX搜索,形成一个新的SAP CRM搜索,通过该方案的实施改善企业内外部
当前对计算系统高效性和灵活性的需求日益增加。可重构处理器兼具专用集成电路的运算高效性与通用处理器的编程灵活性,近年来受到了广泛关注。细粒度可重构结构(Fine-Grained Reconfigurable Architecture,FGRA)在比特级进行配置,具有良好的配置灵活性。粗粒度可重构结构(Coarse-Grained Reconfigurable Architecture,CGRA)由大
目的研究肥胖型多囊卵巢综合征患者实施营养干预治疗的临床效果。方法选80例肥胖型多囊卵巢综合征患者,根据治疗方法的不同,将其分成对照组和治疗组。对照组40例患者采用二甲双胍联合达因-35进行治疗,治疗组40例患者在对照组基础上,采用低碳水化合物联合低能量饮食实施营养干预治疗。对比两组研究对象在治疗后顺利妊娠率、治疗前后血脂、血糖水平。结果治疗组患者在治疗后顺利妊娠率高于对照组;治疗前后血脂、血糖水平
随着网络论坛、贴吧等网络文化的兴起,用户越来越频繁地使用反讽——一种表达强烈情感的语言方式。反讽一般称反语,通常来说就是一种带有讽刺意味和反义内涵的语句,从字面上很难获取和理解语句真正要表达的意思,通常其真正的意思正好与字面上的意思相反,大部分时候需要从语境,甚至时事才能理解。这让网站管理者很难快速并且准确地了解用户的真实意图。给网络监管和舆情收集带来不小的阻碍。为了解决此问题,本文通过使用深度学
一些大型集团其业务涉及保险业务、银行业务、投资业务等,技术部门开发了上百个移动应用来支持业务开展,其通过移动应用的版本更新来发布一些新的功能或修复旧版本的一些问题。但应用版本升级率并不能得到有效保障,这样致使一些新版本的功能或问题修复无法触达旧版本用户。为了提升移动应用程序版本的升级率,很多技术部门采用的Hybrid模式开发手机应用。本文通过研究各种程序更新方法,在此基础上结合Hybrid模式的架