随着网络技术的不断发展,互联网己经越来越普及,各行各业都受到它的影响,网络用户数目不断攀升,这也使得互联网中所产生的数据朝着大和杂的方向发展,对这类型数据的分析处理和挖掘搜索已经成为互联网行业新的方向,同时这些都为分布式计算和云计算的发展提供了新的发展机遇。MapReduce是Google提出用于处理海量数据的分布式并行计算编程模型,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个机器组成的大集群上,具有自动并行处理作业、可靠性高、具有容错能力以及编程简单,能够并行地处理上TB级别的海量数据集等特点。在大多数运行的Hadoop系统中,对于频繁的磁盘I/O和跨机架和不同物理节点的大数据量的传输,中间数据的传输已经成为制约性能的的瓶颈。本文提出reduce任务放置算法,将目标任务调度到其相关map任务所在的物理节点或者同一机架内以此来获得中数据,提高本地化读取数据性能。由于key值是需要直到map任务结束之后才能被计算,本轮提出了一种基于水池抽样的方法来获取中间键值的分布情况。基于这个抽样的出来的数据分布比较好的接近原始数据的分布,基于这个中间键值的分布来执行分区策略,跨机架之间通信通过考虑它的距离和损耗将对应于map任务相关的reduce任务调度值其相近的物理节点来获取中间数据的本地性。论文基于 Hadoop 2.4.0 来实现 CORP(Correlation-oriented reduce placement)算法并且通过sort,grep,join这三种作业类型来对其性能进行评估,实验的结果也显示该算法在对其数据本地性和reduce负载有了较大的改善,但是由于前期的抽样带来的额外的负担使得论文中CORP算法对于执行时间方面的优化不是特别的大。本论文不仅在Hadoop的集群环境中基于数据倾斜实现了任务的放置的研究,并且将该方法至于云环境中通过虚拟机来实现任务的放置。任务虚机启动的位置越是靠近存储节点,获得的本地化数据就越多。基于现有的模型和工作提出了虚拟机启发式迁移HM(Heuristic Migration)策略,实验中与随机模式的迁移和不迁移策略相比HM有较大的优化,实验显示机架内的流量交换越小,数据的本地化程度就越大,在执行时间的优化就越好。