基于云计算平台的资源调度关键技术研究

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:presk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对计算能力需求的逐渐增大,高性能计算技术的发展催生出云计算概念。作为新型的服务与计算模型,云计算的出现使得计算能力和存储资源可以按需获取,用户服务与应用通过网络共享底层资源。与传统计算模式不同,云计算通过虚拟化技术实现对硬件资源的虚拟化管理、调度与应用,软件/硬件组件异构以及它们之间复杂的相互关系增加了底层资源调度的难度,使得资源调度成为云计算研究的重要方面。云计算中的资源调度主要包括数据资源的可靠存储以及用户任务的有效分配两方面。在可靠性方面,当前云计算技术大多通过数据复制实现在廉价服务器集群上构建稳定可靠的分布式文件系统,如何对云服务可靠性进行评估成为云计算可靠性分析的重要方面。在有效性方面,对任务进行合理的分配,可以有效提高系统整体的性能。为此,本文对云计算的资源调度进行了深入分析,并在此基础上实现理论创新和实验验证。本文的创新点如下:(1)本文在传统可靠性分析方法的基础上提出两种低复杂度的可靠性评估算法,分别对故障相互独立和故障相互关联两种情况下的云服务可靠性进行评估,前者通过边界方法对计算方法进行简化,在保证可靠性精度的前提下降低了计算的难度,后者利用贝叶斯网络和马尔科夫理论对故障关联性进行模拟,并提出一种简单的可靠性计算算法。(2)本文提出基于混沌蚁群算法的云计算任务调度策略,以便解决异构环境下云计算任务的分配。为了保证用户服务质量,我们对任务的完成时间、可靠性等诸多方面进行了分析,并在此基础上构建了带有约束条件的多目标调度模型。本文利用混沌蚁群算法对云计算调度问题进行求解,实验结果表明混沌蚁群算法可以有效提高用户的服务质量,且性能优于其他群体智能算法。(3) Hadoop作为当前云计算中的主流技术,构建在分布式文件系统HDFS上,采用MapReduce编程模型处理任务。为了具体了解云计算的运转模式和任务调度流程,本文对Hadoop中的关键技术进行了深入的剖析,尤其是对常用的容量调度器、公平调度器等调度机制进行了分析和阐述。(4)实验室搭建了基于HP服务器的Hadoop云计算平台,并在平台上对联通用户上网数据开展分析和统计工作,完成用户分类、流量预测、流向分析及网页关键词提取等功能,从而对Hadoop处理流程和任务调度机制有了充分的认识。(5)本文提出了基于资源感知的Hadoop任务调度机制,它通过对底层资源的监测获取节点的资源使用状况,从而为任务的调度提供参考。另外,在作业的调度方面,本文提出基于剩余时间预测的作业选择策略,通过对作业剩余运行时间的估算对作业进行排序,并优先调度剩余时间较短的作业,可以在一定程度上增加系统数据处理的时效性。
其他文献
网络自组织技术(Self-organizing Network, SON)能够提高网络的自组织能力,简化无线网络设计和运维,实现网络的自配置、自优化和自治愈,是下一代宽带蜂窝移动通信系统的研究
宁波市台办认真贯彻落实习近平总书记在中央和国家机关党的建设工作会议上的重要讲话精神以及浙江省、宁波市委关于加强机关党的建设工作要求,以政治建设为统领,以干在实处的
期刊
分享经济理念在世界范围内悄然兴起。基于互联网和分享经济模式的业态创新在住宿领域发展迅速。伴随国家出台的鼓励政策和市场供需状况的变化,度假租赁业成为住宿业的发展趋
党的十九届四中全会全面擘画了坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化的“总施工图”,系统回答了“中国特色社会主义为什么好”的重大问题.福建
期刊
2020年1月11日,台湾地区两项选举结果出炉,蔡英文以817万票当选台湾地区领导人,得票率57.1%,较上届增加127万票和1个百分点.国民党参选人韩国瑜得票数552万票,得票率38.6%,较上
期刊
物联网服务是一种需要高实时性和广域分布的通信服务基础设施作为底层支撑的服务,而现有的企业服务总线(以下简称ESB)无法提供这种特性的保障。另外,传统的ESB为服务提供的是
为推动党建工作与对台工作深度融合、同步发力,提升在赣台胞台商满意度,江西省台办坚持不忘初心、牢记使命,坚持以人民为中心的发展思想,从台湾同胞尤其是基层民众的现实需求
期刊