Hadoop平台中空闲时间调度器的设计与实现

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户：danan1234

【摘要】

：

Hadoop作为开源的云计算平台,被广泛应用于自然语言处理、机器学习、大规模图像处理等领域.随着云计算与各行业广泛而深入的结合,多样化的服务对于时效性要求越来越高.现有的

【作者】

：

杨浩滕飞李天瑞李曌

【机构】

：

西南交通大学信息科学与技术学院

【出处】

：

计算机工程与科学

【发表日期】

：

2013年10期

【关键词】

：

云计算实时作业调度空闲时间 Hadoop real-time jobs scheduling spare time

【基金项目】

：

国家自然科学基金资助项目（61202043,61175047）,中央高校基本科研业务费专项资金（SWJTU11ZT08,SWJTU12CX098）

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

Hadoop作为开源的云计算平台,被广泛应用于自然语言处理、机器学习、大规模图像处理等领域.随着云计算与各行业广泛而深入的结合,多样化的服务对于时效性要求越来越高.现有的Hadoop调度器多关注于缩短响应时间,而非满足作业的时限要求.为了提高集群处理硬实时作业的性能,设计并实现了一种基于空闲时间的硬实时调度器LSS.在调度过程中,LSS动态估算作业的空闲时间,并据此实时更新作业队列中作业的优先级顺序.实验结果表明LSS能够有效地提高集群处理硬实时作业的成功率.

其他文献

基于卓越计划的物流工程专业课程体系设计研究

教育部“卓越计划”的目标是改善高等教育质量，向社会输送具备工程实践能力的高素质人才。文中针对物流业的发展趋势及物流工程人才的培养目标，分析物流工程专业课程体系存在的

期刊

“卓越计划”物流工程课程体系

一种面向片上互连的自适应通道双缓冲延迟模型

随着集成电路工艺的等比例缩小，互连线延迟相对门延迟增加，导致报文在片上网络路由器之间的传输需要多个时钟周期。但是，在基于信用点流控策略中，物理链路中的寄存器在发生拥塞时

期刊

片上网络通道双缓冲延迟模型network-on-chip channel double buffer delay model

基于词袋模型的立体点云场景识别方法设计与实现

对自身位置的认知是机器人学中的核心内容之一,是一切动作任务实现的基础。对于工作环境较复杂的机器人,正确认识所处场景,不仅有利于对环境中关键目标的识别感知,还可以极有

学位

场景识别闭环检测词袋模型点云自动驾驶

禾谷镰刀菌类动力GTP酶FgSey1功能研究

由于气候和耕作制度的变化,赤霉病发病在我国呈加重趋势,近十年年均发病面积8400万亩,约占全国小麦种植面积的30%。赤霉病不仅威胁小麦的安全生产,其产生的呕吐毒素及衍生物更会严重危害人畜的健康,一直收到世界的广泛关注。禾谷镰刀菌(Fusarium granminearum)是引发小麦和大麦赤霉病(Fusarium head blight,FHB)的主要病原菌,并且也是研究植物病原真菌的主要模式真菌

学位

禾谷镰刀菌FgSeyl脂滴致病性

浅谈半干旱山区蔬菜产业发展现状及对策

天水市秦州区蔬菜以加快发展现代农业为取向,坚持走'调结构、扩规模、提品质、创品牌、增效益'的发展路子,积极实施西菜南移战略目标,在巩固提升藉河川道区现有蔬菜

期刊

半干旱蔬菜产业发展现状对策

FTX与FH-DUS系列催化剂在升级国Ⅴ柴油上的应用

中国石化洛阳分公司第Ⅱ套加氢装置利用抚研院（FRIPP）S-RASSG级配技术及FTX体相催化剂与FHUDS系列催化剂组合体系,解决了更换催化剂之前生产国V柴油操作条件较苛刻的困难局面。

期刊

S-RASSG级配技术FTX体相催化剂FH-UDS系列催化剂国V柴油

一种多基元类的布局迁移自适应算法及在闸机设计中的应用

布局问题研究物体的布局先后或布局定位以满足设计要求，布局迁移设计是在已有布局基础上高效设计新布局的方法。在轨道交通自动控制系统中，闸机表面传感器的布局对人与物的识别