随着网络技术的快速发展,每时每刻都有大规模的数据产生,Hadoop平台的主要部分之一—MapReduce对于处理这些数据具有重要作用。在MapReduce下,一个作业被分解成多个小任务,然后将任务分配到多个节点上执行,以提高作业的运行效率。但是在作业的运行过程中有些任务由于节点故障、网络堵塞等原因成为落后任务。目前,解决落后任务的主要办法是:为了加快作业的完成,首先识别落后任务,然后为其进行备份,将备份任务分配到其他节点上执行。因此,研究Hadoop下落后任务的识别与调度对提高系统的性能、缩短作业的执行时间具有重要意义。论文的主要工作如下:（1）提出了基于局部加权线性回归（LWLR）的落后任务识别算法。首先,对任务进行了类型划分,分为CPU密集和IO稀疏型,CPU密集和IO密集型,CPU稀疏和IO密集型,CPU稀疏和IO稀疏型四种类型。然后,引入LWLR算法建立任务的进度和执行时间之间的关系,进而预测任务的剩余完成时间,为了提高预测的准确性,对任务的剩余完成时间进行分阶段预测。最后,将所预测出的任务的剩余完成时间从大到小进行排序,并且选择前25%的任务为落后任务。实验结果表明,本文算法的落后任务识别准确率和LATE算法、CPL算法、ELATE算法对比,分别提高了 27.47%、7.27%、4.27%。（2）提出了基于烟花算法（FWA）的落后任务调度算法。在选择最优节点时综合考虑了节点的成功率和负载,在确定节点负载时考虑CPU使用率、IO使用率、带宽使用率以及内存使用率四个影响因素,并且利用层次分析法来确定每个因素对负载的影响程度,选择出成功率与负载比值最大的为最优节点。选择出最优节点后可能会出现均衡性低的问题。而且烟花算法的并行性可以用来处理任务调度问题,并且也可以实现负载均衡。因此,当备份任务数达到总任务数的阈值时,则通过引入烟花算法来保证节点的负载均衡,尽可能将备份任务调度到完成任务最快的节点上执行。实验结果表明,在作业的完成时间方面,本文算法比LATE算法、CPL算法、ELATE算法分别降低了 26.18%、14%、5.75%。在备份任务的成功率方面,本文算法分别比LATE算法、CPL 算法、ELATE 算法提高了 20.35%、3.9%、1.7%。