大数据平台分布式计算资源自动部署研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:xkd19890528
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
21世纪我们迎来了全新时代——大数据时代,数据被人们誉为了“金矿”。大数据推动了云计算的蓬勃发展,云计算已成为了一种新的商业模式,在工业界,学术界和社会中受到越来越多人的关注与重视。“云”为全球用户提供固定或移动的新的维度,以基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)的形式提供计算资源,这些类型的资源在基于因特网的环境中按使用量付费或者以订阅方式按需提供。由于使用资源的不确定性,对于搭建在云平台上集群和应用来说,决定它的资源容量大小是一把双刃剑,这可能会导致供应不足或者过度供应。针对云资源租户而言,资源的需求过多,将会导致其资源的浪费、花费过高;而针对云服务商而言,过多的提供资源给租户,将会导致自己整体资源使用率偏低。因此,云计算中的资源调度问题被认为与非确定性多项式(NP)优化问题一样困难。为了提高资源的利用率,本文从集群内部和集群规模两个层次展开研究工作。(1)首先对Hadoop原理架构及MapReduce计算框架和HDFS文件系统两个核心模块进行了详细的研究,然后分析了 Hadoop系统中支持的三种调度算法,发现目前的算法存在不足。本文采用自学习的方式去调度资源,提出特征加权朴素贝叶斯调度算法,实验结果表明在运行WordCount作业时,使用特征加权的朴素贝叶斯调度算法比使用Hadoop默认的调度算法所需时间少,资源的利用率更高。(2) Hadoop集群整体资源供应不足和过度供应分别会导致资源的饱和和资源的浪费。结合云平台OpenStack和大数据工具Hadoop设计了一个动态调整集群规模的系统,整个系统将由监控、调度、虚拟机管理三个模块组成。在调度部分定时器调整只能应对一些比较周期性和稳定的工作负载情况,而阈值调整虽然可以处理几乎所有的情况,但存在资源提供延迟问题,本文提出基于SVM的时间序列工作负载预测算法,而预测结果的准确度对决策有着至关重要的影响。因此,使用SVM算法和ARMA算法对工作负载的时间序列进行建模预测,实验结果显示在增长型和无规则型两种工作负载的模型下,SVM模型的预测结果都比ARMA模型结果更加准确。
其他文献
高校档案馆传统的档案服务模式是"我提供什么,用户接受什么",而在信息时代,高校档案馆需要构建"用户需要什么,我提供什么"的个性化服务模式,使档案馆的信息服务从被动型服务向主
在"一带一路"战略的推动下,我国海外投资与合作项目越来越多,尤其是随着高铁建设步伐的加快,也使得"高铁走出去"成为"一带一路"战略的助推力。但与此同时,复杂的东道国投资背
SiO2-B2O3-Ta2O5-ZrO2-Na2O系统光学玻璃因具有较大的相对部分色散偏离值、良好化学稳定性和可加工性等特点而备受关注。作者采用分光光度计、光学显微镜、扫描电镜及能谱等
加强公务员队伍的道德建设,对于提高公务员队伍的整体素质,对于建立高效、精干、廉洁、勤政的政府,推进现代化建设的进程,具有重大意义。本文就公务员道德自律的形态和加强公
实践教学是高校培养学生创新能力的重要教学环节;在教学活动中存在多种非线性主客观因素,影响实践教学效果。基于大学生创新能力提升视角,构建高校实践教学效果影响因素的结
提出由多普勒速度声纳、姿态测量组件和陀螺罗经组成导航系统,研究了速度解算和误差分析方法,给出了导航卡尔曼滤波算法.实船航行试验结果证明了导航方法的有效性.
本文主要从宗教观念、宗教经验、宗教行为、宗教体制四个基本要素来简析犹太教的历史及其最终未能成为世界宗教的原因。
<正>秦汉时期实行了二十等爵制,这是秦汉帝国运行机制的一个重要方面;到了东汉后期,由于赐爵太过轻易和太滥,使得这一制度实际已被废置了。但列侯和关内侯这两级却保留到了三
会议
这里结合工程实例简述麻城到武穴高速公路浠水连接线水中系梁钢板桩围堰施工实践。
石化企业开展能耗在线监测系统建设既是国家节能法律法规政策基本要求,也是企业降本增效走可持续发展的必由之路。本文介绍了石化企业能耗在线监测系统国内外进展情况,提出应