面向大数据应用的分布式服务组合引擎设计与实现

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:jianting520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,诸多行业都提出了众多大数据应用需求。其中,有很多的大数据应用需求相对简单、功能类似,通常可表达为一系列可复用大数据计算单元的组合。针对这种情况,具有较好灵活性和简便性的服务组合技术被应用到具有流程化、功能可复用特点的大数据应用开发工作中。这种思路下,大数据应用可以被表达为以大数据处理相关服务为核心构成的服务组合模型,并通过服务组合引擎对模型的解释执行来实现应用功能。服务组合引擎就成为服务组合技术在大数据领域应用的一个关键。然而,传统的服务组合引擎往往是局限于集中式或准分布式的方式,难以适应当前以分布式为主的大数据技术环境要求,特别是在服务组合中涉及的大规模数据流执行控制和优化调度方面需要特定的支持,也缺乏与Hadoop等典型大数据技术环境的集成。为此,针对上述问题,本文围绕面向大数据应用的分布式服务组合引擎展开了如下主要工作:1.针对大数据服务组合应用执行中的数据流执行控制和大数据环境集成问题,设计了分布式执行环境下的服务组合引擎架构。首先,在模型层面围绕数据流执行控制对现有大数据服务组合模型进行了扩展并给出了其详细定义;其次,在分析分布式环境下大数据服务组合模型的执行需求和关键问题基础上,设计了考虑大数据执行环境及其处理代价的分布式服务组合引擎体系架构和核心模块。2.针对大数据服务组合应用执行中的数据流优化调度问题,设计并实现了基于数据感知的服务组合执行调度算法(Data-aware Service Scheduling Algorithm简称DSSA)。该算法首先将大数据应用任务实例根据业务和数据特征划分为四组,分别为有业务约束且数据密集型、无业务约束且数据密集型、有业务约束且数据非密集型、无业务约束且数据非密集型,并基于改进粒子群算法实现对每组中的任务实例与分布的计算资源的动态匹配,以减少数据在网络中的传输及缩短大数据应用总体执行时间。通过基于Workflow Sim的相关仿真实验表明,算法相对于相关的调度算法具有更好的性能。3.在上述研究内容基础上,基于开源业务流程引擎Flowable设计并实现了一个面向大数据应用的分布式服务组合引擎。首先,设计了分布式服务组合引擎核心机制与流程;接着给出了执行引擎核心数据库定义;最后对Flowable引擎进行了分布式扩展和MR任务、Flink任务等大数据特定任务的实现。此外,还结合高速公路收费大数据统计分析应用案例对分布式服务组合引擎进行了验证,表明了其应用效果。
其他文献
随着全球导航卫星系统(Global Navigation Satellite System缩写GNSS)技术的不断发展和创新,以及其在诸多领域内的广泛应用。卫星导航与定位服务已经给人们的日常生活带来了巨大变化,与此同时,也对我国的国家安全产生了深远影响,对国防建设提出了新的要求。GPS作为卫星导航系统之中的佼佼者,通过对其的学习与研究,将会有助于推进我国卫星导航事业的快速发展,增强在该领域内的核心
在身份识别越来越受到重视的互联网时代,基于手背静脉的身份识别成为研究热点。但是面临采集设备多样性的情况,跨设备条件下的手背静脉身份识别成为必然趋势。在跨设备以及用户配合度低的条件下,采集的手背静脉图像存在亮度、旋转角度和尺度大小等差异,识别率较低。如何在跨设备条件下开展高精度的手背静脉身份识别具有重要的研究意义。论文主要工作和创新性如下:(1)提出以骨架图来描述静脉的形状结构的两种方案:方案一是由
近年来,目标识别技术已经随着深度学习的发展逐渐成熟,智能家居与时尚行业的兴起为基于计算机视觉的衣物识别提供了新的舞台。在居家环境中使用目标识别网络进行衣物识别,在对人身着的衣物类别进行有效的判断的基础上,预估家居环境中的舒适温度、湿度以及空气流通范围,然后输出预测信号给空调等家电来进行相应调节从而保证人体始终处于一个适宜的居家环境中。因此,智能家居场景下的对目标识别的精度和速度都具有很高的要求,又
近年来,人脸识别技术因使用方便在日常生活中被广泛应用,但是人脸信息易被他人获取制作成伪造人脸,非法用户使用伪造人脸攻击人脸识别系统,对用户信息安全造成了极大的隐患。当前已有的人脸活体检测算法随着攻击手段的不断变化,检测能力逐渐下降,人脸识别系统的安全性面临严峻挑战。针对照片攻击、视频重放攻击和面具攻击,本文将人脸运动特征与深度学习相结合,提出了高准确率的人脸活体检测算法,解决了当前人脸活体检测算法
随着选择地铁出行的人越来越多,为了保障旅客的安全,对地铁站内客流量进行实时准确监测变得尤为重要。不同于其他露天场景,高峰期时地铁站内客流量大,同时站内视频采集设备安装位置较高与视频采集角度问题,导致了视频监控内的行人目标的像素较小,检测难度较大,本文提出多尺度加权特征融合网络,实现地铁客流量的精准实时监测。主要贡献包含以下几点:1.数据预处理:本文提出了一种基于过采样的小目标增强算法,整个数据集中
随着科技的发展,人工智能技术在生活中的应用越来越广泛,其中的难点便是如何使机器能够正确地理解人类的语言。机器阅读理解任务的目标是教会机器做阅读理解,使计算机具有和人类一样的理解文章的能力。现有的机器阅读理解方法往往在文章、问题和候选答案之间使用注意力机制来得到相应的向量表示。然而,单一的注意力机制仍有一定的不足,它可能对某些词语过于关注,也可能会忽视某些有用的词语。这会导致它在对文章、问题和候选答
近几年,人工智能技术飞速发展,各种对话系统得到了广泛的研究和应用,特别是在特定领域内的对话系统,比如在航空出行领域,可以应用于机票预定和航班的查询等服务中,减轻企业的负担,降低运营成本,具有极其重要的研究和应用价值。自然语言理解是对话系统的核心模块,其目的是提取出句子中的用户意图和与意图相关的重要语义信息,并将其表示成计算机能够理解的结构化形式。在特定领域类,自然语言理解可以拆分成两个子任务,即意
随着互联网的不断发展,数据过载问题日益明显,用户很难从海量网络数据中获取自己感兴趣的部分,为了解决这类问题,产生了搜索引擎和推荐系统两种工具,其中推荐系统有着更多的新颖性和主动性,因此更受学术界和企业界的关注。一个好的推荐算法可以根据用户的历史数据,准确地分析出用户偏好,进而产生独一无二的推荐列表。为了直观获取用户喜好,大部分的推荐算法采用显式评分进行分析,但这类数据一般不容易获取并且不能保证真实
实际场景中的交通多目标航迹提取面临着目标个数时变、目标运动模型未知和杂波密集等诸多挑战。在现已发展出的各种多目标跟踪算法中,基于随机有限集的多目标跟踪算法可以避免复杂的数据关联,并且带标签的随机有限集跟踪模型通过为目标添加标签实现了目标航迹的提取,基于此而发展出的广义标签多伯努利滤波算法(δ-Generalized Labeled Multi-Bernoulli filter,简称δ-GLMB)的
随着互联网时代的到来,搜索引擎开始被人们普遍使用。在信息检索任务中,针对冷门查询时,由于用户的搜索词范围过小,导致搜索引擎无法检索出需要的数据,从而降低了用户的使用体验。此时查询优化系统可以有效辅助搜索引擎以提供可靠服务。常见的查询优化方法包含查询扩展与查询推荐两种,查询扩展可以根据用户的原查询内容进行扩展,并将扩展后的所有信息融入信息检索系统,从而提高系统的查全率。查询推荐可以根据用户输入的原查