【摘 要】
:
随着时间推移车联网系统中数据的规模越来越大,对作业处理的难度也越来越高,传统的数据处理模式已经无法适应海量数据的操作。因此基于云计算的分布式计算模型在车联网系统中
论文部分内容阅读
随着时间推移车联网系统中数据的规模越来越大,对作业处理的难度也越来越高,传统的数据处理模式已经无法适应海量数据的操作。因此基于云计算的分布式计算模型在车联网系统中得到了广泛的应用。Hadoop是当前较为优秀的开源分布式云计算平台,Hadoop2.0是新一代的Hadoop平台,其在Hadoop1.0的基础上增加了资源管理框架YARN。而作业调度器是YARN的核心组件,直接关系到整个云计算平台的计算性能和资源利用。车联网系统以Hadoop2.0平台为基础进行构建。系统中的作业为内存密集型,且对实时性有着较高的要求。然而当前对Hadoop实时作业调度的研究集中于Hadoop 1.0框架,并且在满足作业实时性的同时没有考虑系统资源使用效率。本文在对YARN和当前调度器研究的基础上,结合车联网系统中作业的特点,提出了内存感知实时作业调度器。该调度器中主要设计了资源分配中心、双层抢占策略和最小资源评估模型。资源分配中心为了同时满足动态资源模型和内存密集型作业的特性,选择内存来量化集群中的资源,并在作业初始化后对作业进行可调度性分析和资源分配。双层抢占策略通过Surplus-RBTree数据结构来选择抢占的作业,根据任务的执行进度选择抢占的任务。最小资源评估模型将任务执行时间推测模型与拉格朗日乘数法相结合,计算出保证作业在截止期前完成需要的最小资源量,从而确保了作业的实时性。本文采用理论分析和模拟实验相结合的方法,在Hadoop集群中模拟车联网系统,并使用典型的内存密集型作业PiEstimator来模拟车联网中的作业,进而验证算法的有效性。通过对实验数据的分析,验证了该算法在Hadoop 2.0中能够满足车联网作业的实时性要求,同时也表明了算法中抢占策略和资源分配中心能有效的提高资源的使用效率,并能够平衡节点间资源的分配。
其他文献
获得诺贝尔奖数量是衡量一个国家创新能力高低的重要指标,中国要努力成为世界主要科学中心和创新高地,如何获得诺贝尔奖就成为学术界以及公众关心的重要议题。诺贝尔奖评选既涉及科技评价机制又涉及科技人才发现和培养,其核心是一套社会选择机制,即社会如何从若干科学家中选出诺贝尔奖获得者的机制。本研究以科学计量学和科学社会学为基础,基于诺贝尔奖遴选过程,探究获得诺贝尔奖的社会选择机制,重点讨论遴选过程中的科学家评
轧钢系统能耗约占钢铁生产流程总能耗的20%左右,能源主要消耗在加热和轧制环节。加热炉作为轧钢系统加热主要耗能设备,占轧钢能耗的60%~70%,因此轧钢系统工序能效提高应以加热
竹叶中的黄酮类物质具有抗氧化、抗活性氧自由基和改善心血管系统以及抗炎、抗菌、抗病毒、抗肿瘤、调节血脂等生理活性,已经受到国内外市场的广泛关注。本文建立纯化竹叶黄
射流式反应器具有传质效率高、装置放大性能好等优点,但反应器内高速射流冲击液面产生气泡的问题给反应器的连续运转带来了诸多不利因素,所以本文以将反应器内的射流减速、防
陈年盐渍萝卜又称“老菜脯”或“老萝卜干”,是福建省闽南地区的一种传统腌制食品,由白萝卜加粗盐,经复杂的加工制作而成。“老菜脯”香味独特,外观黑亮,贮藏时间长且具有一
A型遥测组合项目是项目实施单位2017年的重点项目,也是较为典型的军品研产项目,项目系统复杂、设计难度大、协作配套单位产品质量存在差异性。由于前期研制周期较短、交付进
最近几年来,随着我国经济的不断发展,隧道地铁的建设规模不断扩大,为了确保隧道地铁安全且平稳地运营,对隧道地铁进行形变分析就越来越重要。随着三维激光扫描仪的不断发展,应用于文物保护、城市建筑物的检测、地形测绘、隧道工程、采矿业等。像隧道、大坝等采用传统的设备不能有效采集形变信息,而三维激光扫描仪能够快速、高精度的扫描点云数据。本文采用三维激光扫描仪对隧道轮廓进行扫描,对于获取的隧道点云的数据进行形变
随着技术、经济、环境等需求的提升,建筑行业迎来“新挑战”,面临“新常态”,谋求“新发展”。装配式建筑以其标准化设计、工厂化生产、拼装化施工、信息化管理的特点,在节约工期、控制成本、减少污染方面的独特优势,为建筑行业注入新的活力;EPC项目全生命周期管理模式,能够满足装配式建筑精细化管理的内在要求;另外,随着信息技术的发展和应用,信息化建设己经成为了企业获取市场竞争优势的重要部分。基于以上背景,大批
目的:探讨Q808对大鼠颞叶癫痫(TLE)模型神经元损伤的保护作用,为临床应用Q808治疗TLE提供实验依据。方法:选取50只6~8周龄健康雄性SD大鼠随机分为5个组(每组n=10),正常对照组大鼠不做任何处理,其余大鼠腹腔注射氯化锂(127mg/kg),予阿托品灌胃30分钟后腹腔内注射匹罗卡品(20mg/kg),建立颞叶癫痫模型。根据癫痫发作Racine 6级评分标准达Ⅳ-Ⅴ级、持续抽搐30mi
由于电力电子技术的快速发展,越来越多的电力电子装置应用到各个领域,导致电网出现大量谐波及无功电流,电能质量问题也引起广泛的关注。本文首先简要介绍了课题研究的背景,阐