分布式流处理系统的两阶段任务调度研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:l190207100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会早已进入数字化时代,每天都会产生海量的数据,如何处理大数据对于现有的计算机来说是一个严重的挑战。由于海量的数据量不断交由计算机进行处理,系统很难及时响应。不论是微博、推特的实时热点数据检测,还是华尔街、纳斯达克的股票交易等这些应用场景都亟需低延迟的实时流处理计算系统的支持。现有的实时流处理系统有Storm、Heron、Flink等。这些系统普遍采用基于轮询的任务调度策略,该策略没有考虑到通信时延,大多数情况下都会增加系统时延。在考虑通信时延时,调度系统将互相通信的任务实例放置在一个节点。当数据源数据量较大时,这一方法存在使部分节点负载过重增加计算时延的问题。系统时延由通信时延和计算时延组成,如何综合考虑这两种时延是一个需要解决的问题。为了解决该问题,提出一个两阶段方案。第一阶段是初始化阶段,根据用户提交的拓扑提出考虑数据源数据量较少的静态调度,并且为第二阶段提供调度集。第二阶段系统开始运行,提出基于强化学习的动态调度,该方法在面对数据源动态变化时,能够自适应动态调整调度策略。实验结果表明,两阶段方案可以在面对数据源动态变化的情况下,处理大规模流数据时保证时延尽可能低。在数据源稳定和动态变化的情况下,相比Storm的任务调度程序,平均元组处理时间分别降低41.2%和31.9%。
其他文献
通过对关节病型银屑病患者的心理护理、皮肤护理、关节护理、用药护理、饮食护理和健康宣教等方面的护理,经过医护人员的共同努力,促进病人治愈。
直觉思维模式对于物理学的学习与创新具有重要的意义,可以有效的提升学生的学习成绩,并有利于其形成物理性质的思维模式。根据我国现行的课程标准,中学作为学生普遍全面的接受系
目的:观察中药枳壳旋复花乌药 剂对术后胃功能性延迟排空症的治疗效果。方法:术后胃 延迟排空症患者31例,随机分为2组。在西医综合治疗基础上,中药治疗组(21例)采用枳昨花乌药汤剂胃管
在历史教学中运用现代信息技术可以创设历史情境,再现历史现象。从课堂导入环节出发,创设情境,激发兴趣;利用丰富的教学内容资源,提高课堂效率;建立班级历史学习微信群,加强教学动力
目的:目前,在全世界范围内冠状动脉粥样硬化性心脏病发病率逐年上升,随着近年来病理生理及分子生物学相关研究的深入,发现冠状动脉内粥样斑块的形成、斑块破裂、心肌损伤过程
LED电子显示屏(Led Panel)是通过一定的控制方式,用于显示文字、图形、图像、动画、行情、视频、录像信号等各种信息的LED器件阵列组成的显示屏幕。进入二十一世纪的显示技术
工作拖延是指个体在有意识的情况下经常延迟完成工作任务的行为,是组织行为中影响工作绩效的重要因素之一。为了改善基层公务员的工作拖延行为,本研究从情绪管理的视角,考察
以Mn替代LiFePO4中部分Fe得到的兼具LiFePO4较高电化学性能及LiMnPO4较高电压平台的LiFe1-xMnxPO4,可以提高LiFePO4材料的工作电压进而提高材料的比能量。由于橄榄石型材料只
我国共产主义运动的先驱者李大钊(1889—1927),以“黄卷青灯、茹苦食淡,冬一絮衣,夏一布衫”的清贫与朴素生活在上世纪末、本世纪初“黑暗到了极点”的世界里。在短短的38岁
19世纪批判现实主义文学主张客观地描写生活,侧重揭露社会的黑暗和罪恶,注重塑造典型环境中的典型性格,具有内倾性和外倾性两种倾向。 In the 19th century, the critical r