Hadoop分布式文件系统,即HDFS,通过三备份存储方式保障了数据的可靠性,存储空间的利用率却比较低。随着数据规模的飞速增长,尤其对于冷数据而言,HDFS传统存储方式造成的额外开销也会越来越大。因此,HDFS亟需一种新的优化存储机制,在保障数据可靠性的同时,又能节省存储空间。HDFS Erasure Coding项目应用而生,它使用纠删码技术来存储HDFS文件并恢复丢失的数据。基于HDFS传统存储方式及HDFS RAID技术现有的问题,在HDFS EC中引入了纠删码、条状布局和分层命名协议等技术。结合对现有问题的分析,提出了HDFS EC的优化指标。通过对比HDFS EC编码时条状布局和连续布局的特点,选择了条状布局,并针对条状布局设计了新的文件存储单位。在此基础上,采用分层命名协议来定位内部块,减轻Name Node端的内存压力。针对HDFS EC设计了专门的读写类和辅助类,既能够复用HDFS中部分已有的读写逻辑,又能实现HDFS EC基本的读写流程。为了保障HDFS EC中编解码技术的丰富性和将来的扩展性,设计了耦合性低、可插拔和模块化的编解码框架Erasure Codec和其他的相关类,并给出了Reed Solomon编解码算法的Java实现。另外,介绍了Intel ISA-L编解码库的调用实现。在上述编解码框架和算法的基础上,阐述了HDFS EC中数据恢复技术的实现。最后,结合HDFS EC的优化指标,给出了使用HDFS EC前后各项测试结果,测试结果均符合预期指标。HDFS EC既保证了数据的可靠性又降低了存储开销,使用户在存储冷热数据时有了更加灵活方便的选择。同时,HDFS EC也有效地解决了小文件存储问题,其中可插拔的编解码框架可以使用户很方便地引入自定义编解码技术。HDFS EC对于推进HDFS在工业界的应用具有重要的意义。