【摘 要】
:
随着大数据应用场景的需求不断发展,流计算逐渐成为一种主流计算模式。流式应用通常需要持续地运行,在这个过程中难免要受到各类软硬件故障的影响,在分布式环境下故障的发生
论文部分内容阅读
随着大数据应用场景的需求不断发展,流计算逐渐成为一种主流计算模式。流式应用通常需要持续地运行,在这个过程中难免要受到各类软硬件故障的影响,在分布式环境下故障的发生则会更加频繁。因此,在不影响实时性的情况下保证流处理应用的高可靠性是流计算领域的研究热点。在流处理的主流容错方法中,相较于需要高昂备份资源的主动备份,结合被动备份和上游备份的检查点机制是当前较为高效的容错手段。当采用检查点的容错方法时,选择合适的检查点周期是保障流应用平稳运行的关键。以Apache Flink为代表的流处理系统目前只支持固定周期的检查点,难以在动态变化的流应用场景中,对无故障运行时的容错代价和故障恢复的成本进行较好的权衡。本文首先研究了基于栅栏的检查点机制的容错开销,具体分析了流应用运行过程中检查点和故障恢复对于系统性能的影响程度,同时得出影响检查点运行时开销和故障恢复开销的主要因素。结合对检查点容错代价的分析,本文研究在负载、故障等环境指标动态变化的情况下,通过基于强化学习的方法,对检查点间隔进行动态的自适应调整,在避免对流应用整体环境的建模的同时,面向处理延迟和故障恢复时间进行自适应优化,基于Flink平台原有的容错机制对算法进行了实现,解决了原生平台仅支持固定周期检查点的问题,最后在Flink平台与现有研究的检查点间隔优化算法和模型进行了对比。实验结果表明:本文提出的动态检查点间隔调整算法对比已有的检查点间隔优化模型和算法,在处理延时上降低了10%,在故障恢复时间上降低了37%,同时本文的算法在不同的应用场景下都具备较为稳定的优化效果。
其他文献
陶瓷覆铜板(DBC)广泛应用于航空航天、汽车和清洁能源等工业领域。由于依靠人工筛选陶瓷覆铜板表面缺陷的工作方式具有劳动强度大和效率低等缺点,因此,基于深度卷积网络建立
负群时延效应是指群时延为负值这一异常的电磁传输现象。在负群时延电路输出端的信号包络可以比输入端的信号包络提前出现。这一特性使得负群时延电路常常被应用在微波通信系
随着人们对通信网络的性能和安全需求的不断提高,第五代移动通信技术(The5th Generation Mobile Communication Technology,简称5G)发展迅猛并得到了前所未有的关注。5G作为
目的:观察疏肝健脾安神针法对原发性失眠患者血清去甲肾上腺素(NE)含量,以及睡眠质量的影响,进行临床疗效评价。方法:选取符合研究标准的90例原发性失眠患者,按随机数字表分为针灸组、综合组和对照组各30例。针灸组采用疏肝健脾安神针法,综合组在针灸组基础上予口服阿普唑仑治疗,药物组予口服阿普唑仑治疗。三组患者均于接受治疗12天后进行临床疗效判定,1个月后随访再进行临床疗效判定。通过对治疗前后以及随访后
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种能主动发射电磁波,并对散射回波处理获取照射区域雷达图像的成像系统。电磁波的极化对目标的物理特性、几何形状等具有敏感
自动导引小车作为自动化技术升级的核心组成部分,具有柔性度高,可拓展性和可维护性好等特点,作为现代化工厂物料运输的主要设备之一,用于车间物料搬运具有非常明显的优势,在
寓言是小学语文教材中的一种重要文体,寓言的学习对培养学生语言表达能力和进行思想道德教育具有重要意义,而许多一线教师在进行寓言教学时,在寓言教学内容的选择和确定上存在一定问题。本文研究三个主要问题:小学语文寓言选文呈现了哪些教学内容;小学语文教师在寓言教学实践中重构了哪些教学内容;分析文本中呈现的和教学实践中重构的教学内容,能够发现哪些问题以及有怎样有效的解决办法。首先,通过文献法梳理前人关于语文教
在太空环境中,天体向外辐射电磁波和高能粒子,形成宇宙射线。这些宇宙射线会对电子器件的稳定性和可靠性造成影响。随着集成电路的飞速发展,集成电路中的晶体管尺寸逐渐进入
石油测井技术在石油的勘探与开采中有着极为重要的作用。针对当前水平井、大斜度井测井难题,提出过钻具阵列声波测井技术。过钻具阵列声波测井技术能够避免常规电缆测井可能
无线通信系统的性能很大程度上受到无线信道的影响,能否获得准确的信道和信号参数信息是提高传输可靠性和有效性的重要指标,因此信道估计是无线通信系统的重要技术之一。而无