动态在线Map/Reduce流数据处理模型及作业拓扑管理协议

来源 :吉林大学学报：理学版 | 被引量 : 0次 | 上传用户：yinzhg01

【摘要】

：

针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;

【作者】

：

魏晓辉李翔李洪亮李聪庄园

【机构】

：

吉林大学计算机科学与技术学院

【出处】

：

吉林大学学报：理学版

【发表日期】

：

2015年5期

【关键词】

：

流数据处理 FLEXIBLE workflow模型 MAP/REDUCE 拓扑管理 steam processing Flexible workflow mo

【基金项目】

：

国家自然科学基金（批准号：61170004）, 深部探测技术与实验研究专项基金（批准号：SinoProbe-09-01）, 教育部高等学校博士学科点专项科研基金（批准号：20130061110052）, 吉林省科技发展计划重点科技攻关项目（批准号：20140204013GX）, 吉林大学基本科研经费项目（批准号：450060491439）.

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.

其他文献

肺腺癌的CT征象特点及临床意义（附71例分析）

目的分析总结肺腺癌CT征象特点,探讨病理基础,加强对本病的认识,提高诊断准确率.方法收集经病理证实的中低分化腺癌71例,并对其CT表现进行全面分析,其中65例结合首次胸片正侧

期刊

肺腺癌CT诊断病理Lung Adenocarcinoma TomographyXray computed Diagnosis

基于偏微分方程的遥感成像雷达距离图像分类方法

针对传统方法分类遥感成像雷达距离图像时,未对图像进行平滑处理,导致其易受环境干扰,分类性能较差的问题,提出一种基于偏微分方程的遥感成像雷达距离图像分类方法.首先通过偏微分方程对遥感成像雷达距离图像进行平滑处理,然后采用基于偏微分方程的多区域分割模型,将分割后的遥感成像雷达距离图像分类过程视为泛化函数最小化过程,通过分割对能量泛函数进行最小化处理,实现遥感成像雷达距离图像的多区域分类.实验结果表明,

期刊

偏微分方程遥感成像雷达距离图像分类平滑处理多区域分割能量泛函partial differential equationremote sensing

基于圆柱体包围盒母线的快速碰撞检测算法

针对传统平表面包围盒对圆滑表面包围不紧密的问题,提出一种基于圆柱体包围盒的碰撞检测算法.该算法先检测端面圆片相交,再求出两圆柱的相对角度,最后求二者最靠近对方的母线

期刊

碰撞检测包围盒圆柱collsion detection bounding boxes cylinders

腹膜后囊性淋巴管瘤1例

患者女,48岁.进食后饱胀不适、腹痛3个月,加重10天.查体:腹部膨隆,以左侧明显,轻压痛,未触及明确包块,波动感不明显,肠鸣音正常.彩超:于腹膜后胰尾下方见大小约11cm×12c

期刊

腹膜后囊性淋巴管瘤误诊海绵状淋巴管瘤囊状淋巴管瘤单纯性淋巴管瘤诊断

左冠状动脉起源于肺动脉术后的超声观察

目的报告2例左冠状动脉起源于肺动脉术后超声随诊观察结果，并探讨超声心动图在评价肺动脉内隧道手术疗效中的价值。方法利用超声心动图对2名左冠状动脉起源于肺动脉手术后患者

期刊

左冠状动脉肺动脉超声心动图Left coronary arteryPulmonary arteryEchocardiography

广义d-Koszul代数的注记

用同调代数方法对一类广义d-Koszul代数进行刻画,证明了一类（d,a,b）-Koszul代数的商代数仍是（d,a,b）-Koszul代数.

期刊

KOSZUL代数正规正则Koszul algebranormalregular

三类特殊图的优美性

用构造的方法给出图K_4-P（n,2）,K_3-P（n,2）和I（K_（1,1,n））的优美标号,并证明了图K_4-P（n,2）,K_3-P（n,2）和I（K_（1,1,n））都是优美图.

期刊

优美图优美标号完全三部图冠graeeful graph graceful labeling complete tripartite graph c

新型肉芽肿性隐球菌肺炎1例

患者男,41岁,反复咳嗽1周入院.患者1周前无明显诱因出现咳嗽,干咳少痰,无畏寒、发热、胸痛,无痰中带血,无午后低热、消瘦、乏力,无心悸、胸闷等症状.入院查体:口唇无发绀,胸

期刊

隐球菌新型肺炎Cryptococcus neoformans Pneumonia

动态在线Map/Reduce流数据处理模型及作业拓扑管理协议

其他学术论文