Hadoop是Apache软件基金会开发和推出的用于海量数据的存储和计算的并行分布式MapReduce框架。Hadoop的运行效率涉及到众多因素,如集群系统配置,任务类型,任务调度,参数配置等。其中参数配置是很重要的一个因素,合理的参数配置能在很大程度上提升Hadoop的性能。本文探讨了国内外Hadoop参数优化的研究现状,介绍了 Hadoop的基本框架及运行机制,总结了在现有的一些Hadoop的运行参数进行优化方法的不足之处。蛮力搜索方法和在这基础建立模型进行参数优化的方法不能得到Hadoop性能变化的根本原因。Hadoop内部函数调用信息的变化从一定程度上反映了 Hadoop的性能变化的本质。从这一点出发,本文提出一种基于Hadoop函数调用监控反馈的参数自动优化模型。这个自动优化模型通过实验提取任务特征,对任务进行自动优化配置。如果模型的数据库中无法直接得到任务最佳配置,则采用一种随机抽样算法对任务输入进行抽样,提出一种基于函数调用反馈的启发式参数优化方法,运用这种方法进行参数优化实验,分析参数改变时Hadoop的性能改变的根本原因,启发式地得到相应的优化方案和最佳的参数组合。为了实现对Hadoop内部函数调用信息进行监控,本文从源代码的角度出发,深入分析了 Hadoop任务运行过程中的调用的部分函数;并根据这些函数将Hadoop的任务运行过程分成不同的运行阶段,分别对不同阶段的函数调用信息进行监控;研究了面向切面编程技术,实现了在不直接修改源代码的情况下,对Hadoop内部调用的函数进行监控。最后通过几个参数优化实例说明本方法的有效性。本文提出的模型能够从函数调用的角度分析得到Hadoop性能改变的根本原因,从根本原因出发得到相应的有效的参数优化方案,减少了参数优化实验的盲目性。实验表明,通过这个模型对几个参数进行参数优化实验时,能够很方便地分析得到这些运行参数对Hadoop性能产生影响的原因,得到有效的优化方案。在此基础上对这些参数进行深层次的优化后,Hadoop的性能提升了 20%。