随着互联网的发展,数据需求处理量的剧增,分布式数据处理技术应运而生。而Hadoop作为Apache基金会下的开源分布式系统基础架构,以其可扩展、低成本、可靠和高效等众多优势在发布之后就受到了各大互联网企业在各个领域的广泛应用。随着互联网的普及以及客户需求的不断升高,处理的数据量不断增加,大规模集群处理任务的速度和集群的功耗问题无疑将会面临更加严峻的挑战。Hadoop包含两个核心部分:HDFS(Hadoop Distubted File System)和Map Reduce。分别是分布式文件系统和分布式并行计算的框架。对于HDFS的优化主要是对读写方式与策略等传统技术的适应性调整,而对于Map Reduce性能优化的研究主要体现在三个方面:应用程序优化、配置参数优化和调度算法优化。本文着重关注动态的问题为异构情况下节点负载不均衡和对于动态负载协调性差的问题,于是本文提出了将集群监控模块和集群调度模块移迁移到从节点从而减少主节点负载的构想,并给出了设计流程图。在关于判定集群负载指标的问题上,对于一些传统的参数进行了分析,认为使用单一参数来判定节点负载状况存在着不小的弊端,并提出了通过当前节点最大并行任务数,节点队列长度,和CPU利用率等节点参数来推算出一下个时间戳下集群可能出现的负载状况。接着给出了利用预测负载状况来推断节点下一个时间戳节点的负载状况,然后根据预测结果来做出调整的策略。接着在本文的实验部分使用Cloud Sim仿真软件来模拟Hadoop集群。对Hadoop默认调度方式和经过优化调度方案的实验结果进行了比较和分析,验证处本文所提出的性能优化方案,确实能够优化集群性能,但本文优化方案确也存在着使CPU利用率浮动过大的问题。