随着互联网技术的不断发展,面对空前膨胀的海量数据,云计算得到了快速发展。在云计算中,MapReduce分布式计算框架已经成为目前流行的处理大数据的计算模型。为了保证MapReduce的执行性能,目前针对于MapReduce作业资源分配的问题已经开展了大量的研究工作,不同的数据放置方法、作业调度顺序和资源分配策略,MapReduce作业将具有不同的执行性能。本文分析了目前MapReduce作业调度工作的研究现状,针对MapReduce中资源调度方法存在的系统吞吐量和资源利用率低的问题,提出了一个细粒度的MapReduce资源分配方法。该方法包括细粒度的MapReduce作业的资源初始分配和动态重分配两个部分。JobTracker是运行MapReduce应用过程中的主控节点,它控制着作业执行的顺序以及计算资源的分配,TaskTr acker受J obTr acker的控制,执行被划分成任务的作业。首先,在该框架中,针对Hadoop中“Slot”静态配置,导致Hadoop集群的资源利用率不高的问题,将Map Slot和Reduce Slot用Job Slot代替,分配资源时为作业选择合适的计算资源即合适的Slot,提高资源的利用率。其次,针对缺乏对多MapReduce作业全局性能的保证而导致Hadoop集群吞吐量低的问题,定义作业完成度的概念,并通过最大化作业完成度和利用率,以提高集群的吞吐量和利用率为目标,提出初始资源分配算法。再次,针对无法捕捉MapReduce作业对资源的动态需求的变化而导致作业性能下降、资源利用率不高的问题,定义资源需求变化事件,通过该事件感知资源需求变化,并在此基础上,提出资源重分配算法,为作业重新分配Slot,保证系统的吞吐量和资源利用率。本文在以上研究基础上,搭建了一个分布式的Hadoop集群实验环境,通过对比实验,对实验结果进行了分析,验证了本文所提出的云计算环境中细粒度的MapReduce作业资源分配方法的可行性和有效性。