基于拍卖理论和启发式算法的云资源分配机制的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:jhcjsc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是继分布式计算、网格计算和对等计算之后的一种新型的通过互联网提供服务的计算模式,其主要特点是按需使用、随时扩展和按使用付费。云提供者将底层计算资源(CPU、内存和存储等)配置成不同类型的虚拟机(Virtual Machine,VM)实例,并以VM实例的形式提供给云用户使用。然而,云计算资源的海量性、异构性和动态性等特点使得云计算资源分配变得更加复杂。如何合理而有效地将云计算资源分配给云用户达到社会效益最大化成为当前云计算研究领域的一个热点和难点。
  许多云提供者采用基于固定价格的机制来分配云资源,但是这些机制均属于静态的定价机制,因此,它们是经济无效的。相反,基于拍卖的云资源分配机制是经济有效的,属于动态的定价机制。拍卖能够根据资源的供需关系动态地形成均衡的市场价格,能够应对参与者多种多样的利益冲突,能够使参与者做出独立的决定。另外,在基于拍卖的云资源分配机制中,胜标确定问题(Winner Determination Problem,WDP)通常是一个NP难问题,具有较高的计算复杂度。由于启发式算法具有直观、简单易行和速度快等特点,并且在处理大规模的问题实例时能够在一个合理的时间范围内获得比较满意的解。因此,本文采用启发式算法来求解云资源分配过程中的WDP。
  针对IaaS(Infrastructure as a Service)类型服务,研究了拍卖理论在云资源分配领域中的应用,根据不同的应用场景分别将反向拍卖、组合拍卖、组合双向拍卖和团购拍卖引入到云资源分配机制中,分别设计了三种启发式算法(贪心启发算法、多目标粒子群优化算法和自适应差分进化算法)来求解云资源分配过程中的WDP,以期获得更佳的资源分配效果。本文的主要研究内容如下:
  基于多属性反向Vickrey拍卖的云资源分配机制。在云市场中,云用户在采购云计算资源来完成任务时,无法充分了解云提供者的可靠性。为了解决这一问题,考虑云提供者多方面属性的可靠性(云资源提供量的可靠性和提供服务质量(QualityofService,QoS)指标值的可靠性),设计一种新颖的信誉方案来计算云提供者的综合信誉。为了有利于云提供者充分发挥各自竞争的优势,充分满足云用户多样化的个性需求,设计了一种基于多属性反向Vickrey拍卖的云资源分配(Multi-Attribute Reverse Vickrey Auction-based Cloud Resource Allocation,MARVA-CRA)机制。该机制在确定胜标云提供者时,不仅考虑价格属性,而且也考虑非价格属性,例如云资源的提供量、QoS指标(例如响应时间、可用性等)以及云提供者的综合信誉,通过综合评价云提供者的多种属性来确定胜标的云提供者。同时,还考虑到云提供者实际提供的计算资源数量和QoS指标值可能与承诺的不符。为了弥补由于云提供者的违约而给云用户所带来的损失,提出了一种惩罚机制来减少支付给云提供者的费用,从而保证云用户的效用不会受到损失。实验结果表明,本文所提出的信誉方案可以有效地确定云提供者的可靠性。同时,MARVA-CRA机制,不仅可以保证云提供者真实地报价,而且也有效地避免了云用户的效用因云提供者的违约而受到损失。
  基于组合拍卖的云资源分配机制。现有的基于组合拍卖的云资源分配机制存在以下不足:(1)云提供者未考虑云用户的实际需求,预先定义提供的VM实例的类型及相应类型VM实例的数量,从而导致了云提供者的资源利用率较低。(2)现有的基于贪心启发算法的分配机制在计算标书密度时没有合理地处理异构VM实例在资源构成和价格上的巨大差异,从而导致资源分配机制性能较差。(3)在资源分配和定价过程中忽略了VM实例的保留价格,可能会造成云提供者的效用降低。针对以上问题,提出了两种基于组合拍卖的云资源分配机制,即基于Vickrey-Clarke-Groves的云资源分配(Vickrey-Clarke-Groves based Cloud Resource Allocation,VCG-CRA)机制和基于贪心启发算法的云资源分配(Greedy Heuristic Algorithm based Cloud Resource Allocation, GHA-CRA)机制。实验结果表明,VCG-CRA机制可以获得最大的社会效益,但是时间复杂度较高,不适用于实际应用场景。而GHA-CRA机制不仅可以保证所获得的社会效益非常接近于VCG-CRA机制所获得的社会效益,而且执行时间较短。
  基于组合双向拍卖和信誉感知的云资源分配机制。为了能够营造一个健康的云市场环境,不仅要追求社会效益最大化,而且要鼓励参与者的诚信,提出了一种基于组合双向拍卖和信誉感知的云资源分配(Combinatorial Double Auction-based and Reputation-Aware Cloud Resource Allocation,CDARA-CRA)机制。在该机制中,为了解决参与者之间信息不对称而导致的交易中不诚实行为的问题,首先,设计了一种信誉方案来计算参与者的信誉。然后,设计了一个基于随机森林的价格预测算法来获得合理的云用户的报价和云提供者的要价。在此基础上,将云资源分配问题归纳为一个多目标优化问题,不仅考虑两个冲突的目标(最大化社会效益和最大化总的期望信誉),而且允许一个云用户的请求可以由一个云提供者单独满足或多个云提供者共同满足。最后,为了解决该机制中的WDP,设计了一种基于改进的多目标粒子群优化算法的胜标确定机制来获得该问题的近似最优帕累托解集,并利用逼近于理想解的排序技术(Technique for Order Performance by Similarity to Ideal Solution,TOPSIS)来选择最佳的折衷解。实验结果表明,该机制是可行并且有效的,不仅改善了社会效益,而且提高了总的期望信誉。
  基于团购拍卖的动态云资源配置与分配机制。为了使云提供者能够聚合更多的云用户需求而从中获利,同时使云用户能够以比自己单独购买时更低的价格购买所需要的云计算资源,提出了一种基于团购拍卖的动态云资源配置与分配(Group-Buying Auction-based Dynamic Cloud Resource Provisioning and Allocation,GBA-DCRPA)机制。该机制不需要云提供者预先配置各种类型的VM实例,允许云提供者根据云用户的实际需求动态地配置各种类型的VM实例。为了使该机制更加适合实际的云环境,该机制考虑云市场中存在多个支持团购策略的云提供者,并且允许云用户的需求可以由一个云提供者单独满足或多个云提供者共同满足。另外,为了解决该机制中的WDP,提出了一种基于自适应的差分进化算法的胜标确定机制来计算该问题的近似最优解。实验结果表明,该机制可以改善社会效益、提高云提供者的资源利用率以及改善了任务完成数。
其他文献
云计算作为一种新的高速网络计算服务受到越来越多的青睐,云计算技术广泛应用于通讯、交通、金融、制造等领域。通过实施任务的最优调度,充分利用现有资源实现任务的最快完成,是云计算中任务调度算法研究的目标。随着云计算的高速发展,云系统底层技术构架发生了明显变化,云系统结构越来越复杂,资源节点数量越来越多,不同云之间的差异性越来越明显。同时,用户数量多、行业普及、服务需求多、时效性期望高、数据海量且多样化等
学位
近年来,随着通信和位置感知技术的发展,基于位置的服务(Location Based Service,LBS)需求不断增加。位置预测是LBS的研究内容之一,在广告服务、位置导航等领域具有重要的应用。已有的位置预测方法多通过建立Markov位置预测模型和频繁轨迹挖掘来实现,尽管此类模型和方法可以较好地适用于GPS轨迹数据,可以有效地用于位置预测,但却存在模型阶数不好确定,轨迹挖掘过程只涉及轨迹数据本身
学位
近年来,伴随着互联网科技的迅猛发展,得益于低廉的维护和管理成本、可伸缩的软硬件配置和随时随地的便捷访问,越来越多的企业、组织、科研机构和个人将数据外包到云服务器。然而凡事具有两面性。在人们享受云存储带来的低成本和高效率的同时,数据安全性的问题随之而来。对于外包数据,用户失去了物理上的控制权。尽管云服务提供商会对数据提供一般性的保护,但此类手段完全依赖于厂商的信誉和技术水平,用户毫无掌控权。除此以外
学位
目标的位置与运动轨迹是无线传感器网络的基础信息,是基于位置服务实现的基础。卫星定位系统为室外环境下的目标定位与轨迹跟踪问题提供了解决方案。据统计,人类有80%以上的时间是在室内度过的,提供高精度的室内位置或者轨迹,是许多应用的基础。卫星无线信号会受到建筑物、墙壁等障碍物的严重影响,不能有效地在室内环境中工作。无线网络定位与轨迹跟踪问题涉及到计算机、通信、自动化与物理等多个学科的相关研究领域,为了提
随着互联网技术发展,信息的总量和增长速度严重超出了个人或传统的数据管理和分析方法所能接受、处理和有效利用的极限,引起信息过载问题。其中大多数信息过载问题源于非结构化文本数据,例如,社交媒体文本、网页、新闻文档以及学术论文等。因此,从大量文本数据中自动发现知识的文本挖掘和分析技术引起了学术界和工业界极大的研究兴趣和热度,成为大数据时代数据挖掘和自然语言处理领域的核心研究问题。  由于短语是自然、低歧
学位
行人检测技术应用于计算机视觉的多个领域,如视频监控、动作行为分析、汽车辅助驾驶、机器人控制等,具有广泛的应用前景和研究价值。多年来,行人检测技术取得了一定的研究成果,但由于行人较大的类内差异和场景的复杂性,仍然存在很多未很好解决的问题,需要进一步的研究。本文进行行人检测算法的研究选择了预处理环节、基于部位建模的分类器和自适应场景的模型推荐三个角度,并提出了改进方案。本文的主要研究工作和成果体现在以
学位
近年来,随着众多社会媒体平台的诞生和发展,其作为一种在线用户交互的工具,正在越来越深刻地改变着人们的工作、生活和交流方式,同时也生成了海量的用户信息。广大用户在社会媒体中所生成的大量文本文件,已经成为大数据研究领域最具代表性的数据资源之一,对这些用户生成的文本数据进行研究有着广泛的学术和商业价值。社会媒体文本研究作为一种对社会媒体中大规模数据在不同应用上进行分析、处理、归纳和推理的信息处理技术,近
学位
随着语义Web技术的不断发展和应用,万维网上充满了大量可读取、可被机器理解和处理的RDF数据,RDF数据关键字查询问题的研究已经成为当今语义Web研究的一个热点。无论是终端用户还是应用系统,都有着对RDF数据进行查询的需求。但是,RDF数据的标准查询语言SPARQL对于普通用户来说过于复杂,用户既不了解SPARQL查询的语法和语义,更没有掌握待查询的RDF数据的模式信息。因此,本文提出一种基于查询
机器翻译是实现“沟通无国界”这一梦想的核心技术,长期以来一直受到学术界和工业界的广泛关注。然而,无论是统计机器翻译,还是发展速度较快的神经机器翻译,都还有一些问题有待解决,包括:如何提高稀缺资源翻译任务上的翻译效果、如何在神经机器翻译中使用统计机器翻译中证明有效的方法、如何有效地利用骨架知识指导翻译、如何有效地使用语言学知识优化译文质量。本文通过引入多层次知识来解决机器翻译中存在的上述问题,多层次
基于服务的软件系统(Service-Based Software System,SBS)因其配置灵活、动态重构等优点,已经成为当前Internet环境中快速构建大规模、分布式应用的重要形式。随着近年来云计算技术的迅猛发展和广泛应用,越来越多的服务提供商开始将SBS部署到云平台上。然而,由于云资源的按需分配和付费特征,部署基于SBS的云应用面临一个资源优化分配问题,即如何确定SBS各个组件服务的最优
学位