随着信息化的发展,网络化的普及,与人们生活息息相关的数据以爆炸式指数的形式快速增长。尽管Hadoop分布式文件系统在分布式存储领域广受欢迎,但在处理海量小文件的存取性能方面还存在一些瓶颈问题:(1)名字节点内存压力大,负载不均衡,内存空间利用率低;(2)文件存取机制影响了文件的读取性能。针对这些问题,本文从两个方面进行了研究和技术改进:小文件的存储性能和小文件的读取性能。在第一个方面,小文件的存储性能方面,通过资料分析获取大小文件判定的阈值并进行验证;基于小文件的历史访问日志,利用Aprior算法对筛选出来的小文件进行预处理,经过对文件历史访问日志数据的剖析,构建关联概率模型,计算文件的关联性,设计了基于有向图的合并算法,有效地提升了Name Node内存的利用率。在第二个方面,小文件的读取性能方面,本文通过改变元数据的存储位置,建立基于合并时间的元数据多级索引机制;将文件的热度引入到缓存中,改进LRU缓存替换策略,提出了基于热度的LRU替换策略;将相关性作为文件预取的相关因素,提出了基于相关性的预取机制,有效地提升了文件的访问效率。除此之外,本文基于以上研究内容,设计和实现了基于Hadoop的通用海量文件存储系统,并对其与原HDFS、HAR方案和MPM方案在伪分布式平台上进行性能测试,元数据的消耗,文件的读取时间和文件的上传时间分别作为实验测试的量化指标。实验结果表明,该方案对于分布式文件存储系统,在存取海量小文件时,能够满足缓解节点的压力,提升文件读取和上传的速率的需求,为海量小文件的存取问题提供了技术支持。