随着云存储和大数据等技术的迅猛发展,各行各业越来越多的数据都存储在云端。而存储在云端的海量数据中,有大量的数据是重复数据,这就造成了宝贵的存储空间的浪费。为了减少重复数据对存储资源的浪费,重复数据删除技术在云存储中被广泛应用。当前,重复数据删除技术的研究热点集中在两个方向,一个是对重复数据检测技术的研究,另一个是对分布式可扩展的重复数据删除技术的研究。在这两个研究领域已经有不少研究工作取得了许多有价值的成果,但还存在许多不足之处。在解决重复数据检测中存在的磁盘访问瓶颈问题以及实现分布式重复数据删除技术中的扩展性、容错性以及负载均衡等方面,当前的研究还有很多不完善的地方。本文针对重复数据检测中的磁盘访问瓶颈问题,提出了B+树簇和哈希表相结合的重复数据检测方案。此外,在分布式重复数据删除技术的研究基础上,设计并实现了基于Chord协议的分布式重复数据删除系统。论文主要工作如下:1、分析现有的重复数据检测方法的不足后,提出并实现了B+树簇和哈希表相结合的重复数据检测方法。其中B+树簇能够对具有空间局部性特征的数据快速检测,而哈希表能够对不具空间局部性特征的数据快速检测,将两者相结合后,能够有效解决重复数据检测中存在的磁盘访问瓶颈问题。2、设计并实现了基于Chord协议的分布式重复数据删除原型系统。该系统包括资源定位、节点加入和失效退出以及负载均衡等处理模块。3、对实现的B+树簇和哈希表相结合的重复数据检测方法进行了性能测试,验证了本文提出的方法的有效性。此外,对基于Chord协议实现的分布式重复数据删除系统进行了功能和性能测试,验证了系统良好的扩展性、容错性和负载均衡。