近年来,随着社交网络的推广以及智能设备的普及,数据的增长速度也在不断加快。Hadoop,作为MapReduce的开源实现,在工业界和学术界的地位正变得越来越重要,大数据技术已经对社会和经济的发展产生了直接影响。在Hadoop系统中,数据部署影响任务的分发和执行效率,因此,数据部署策略的研究有重要的理论意义和实用价值。本文主要研究Hadoop分布式文件系统的默认数据部署策略和副本机制。针对原有数据部署策略的缺陷,利用节点的性能和数据之间的关联,提出一个两阶段数据部署算法。在此算法的基础上,利用K-means算法,调整副本的部署位置,减少算法在运行时的停顿时间。本文主要创新工作包括:1.提出一个基于PageRank的节点性能评估算法。本文采用多种Benchmark测试对节点性能进行评估,利用PageRank算法计算各个评估得分的价值,将多个评估得分归一。2.提出一个两阶段数据部署算法(TSDP,Two Stages Data Placement)。首先根据性能把数据块部署到各个节点。再根据数据之间的关联度将数据块进行分组,进行数据的第二阶段部署。实验表明,TSDP算法相对于一致性hash算法和负载均衡算法,任务执行效率明显提高。3.提出一个新的副本部署算法。本文首先定义了数据的热度,根据数据热度来调整数据的副本数。然后定义了节点的关联度,利用节点的关联度代替欧氏距离,使用K-means算法计算出聚类中心,从而减少副本的迁移距离,降低TSDP算法在运行时的停顿时间。通过实验,与未改进的TSDP算法相比,停顿时间明显减少,但任务执行效率略有降低。4.设计以及完成数据部署可视化分析平台的开发。