随着Web技术的发展,大量数据也随之产生,面对海量数据的存储和分析等相关问题,云存储、云计算、大数据分析和数据挖掘等相关概念也被相应提出。目前来说,在大数据背景下,ApacheHadoop已经成为了分布式大数据处理技术的参考框架,能够有效提高海量数据处理的效率。在Hadoop框架中,数据副本管理技术一直以来都是研究的热点与难点。尽管在HDFS数据副本管理方面目前已经开展了大量的研究工作,但是如何设置合适的副本个数以适应文件访问热度的变化,同时如何放置副本以优化集群负载仍是需要研究并解决的关键问题。本文通过调研目前HDFS数据副本管理工作的研究现状以及存在的不足,针对于HDFS数据副本管理中所存在的副本个数设置以及副本放置问题开展了研究工作,并且在此基础上设计并实现一个数据副本管理工具。针对于HDFS副本数量设置问题,本文提出一个基于文件访问热度的副本数量计算方法。该方法定义文件访问热度的概念,以度量文件的访问频率,并在此基础上,通过时间序列分析技术对文件访问热度进行预测,以反映文件访问热度随时间变化的动态变化规律。在此基础上,建立文件访问热度与副本个数之间的关系,从而给出副本个数的计算公式和相应的算法,能够有效避免静态副本个数设置所带来的难以有效适应访问热度变化的问题,从而能够有效提高集群的利用率以及负载均衡。针对于副本放置问题,本文在考虑文件间所具有的Join访问关联性的基础上,针对于目前副本放置中没有考虑Join访问关联性对于副本放置影响的问题,给出Join访问关联性度量方法,并在此基础上给出考虑Join访问关联性的副本放置问题的数学模型,并给出求解该问题的启发式算法。通过考虑文件间的Join访问关联性,具有Join访问关联性的文件块将被放置在通信代价较低的节点上,从而能够降低数据传输代价,保证作业执行时间。在此基础上,本文运用软件工程的理论和方法,给出HDFS副本管理工具的设计和实现。给出HDFS副本管理工具的用例分析,并在此基础上给出其体系结构设计,功能设计和数据库设计。完成副本个数预测模块、动态副本调整模块、Hadoop集群状态模块、访问日志获取模块和数据库等设计和实现,并对关键功能模块进行了功能测试。最后,本文开展了一系列的实验,对所提出的方法和相关算法进行了测试,实验结果表明本文提出的方法在集群的并发性、任务执行的效率和集群的负载均衡情况上都有了很大的提高。目前,所开发的副本管理工具已经应用于健康大数据管理与分析服务支撑系统(国家科技支撑项目)的课题中,应用效果表明该副本管理工具适用于该系统,同时在一定程度上提高了该系统的数据存储和分析的效率。