在面临海量数据的存储和管理时,基于LSM（Log-Struct Merge,日志合并）树结构的Rocks DB键值数据库凭借其良好的写性能,同时在不同的工业界存储环境中都具有高可用性和可扩展性的特点而获得了广泛的应用。同时研究表明在海量数据中普遍存在数据冗余现象,例如智能家居中传感器数据采集,网络日志采集和数据监控等多种典型海量数据实时处理场景中,使用键值数据库存储的数据中存在大量的冗余。如果能消除键值存储系统中冗余数据,可以减少键值存储系统的实际写入量和缓解存储压力。所以如何消除键值数据库中数据冗余成为亟待解决的问题。针对以上问题,基于LSM树的键值存储系统进行了数据去重方法研究并在Rocks DB中实现。主要包括以下几个方面内容:（1）采用键值分离的存储方式进行Value级别的数据消冗,使得在键值系统进行去重操作时不需要进行数据分块过程,从而节省Rocks DB资源;（2）对于Value的不同粒度采取不同存储和冗余消除方式,设置阈值对于小Value不进行键值分离处理,直接存储在原生LSM树体中,来增强对指纹对比表中数据的管理,提高指纹对比过程在优化后的Rocks DB中的响应速度;对于键值对比较大的情景使用数据去重操作流程;对于某些可压缩的键值对进行先压缩消除其冗余数据之后再存储模式;（3）经过数据去重后的键值对存储在物理隔离的Blob File结构中,对于Blob File中的冗余数据,优化动态垃圾回收模式和采取随机垃圾回收的方式,来及时释放Rocks DB中冗余数据所占空间。实验结果表明,基于LSM树的键值存储系统的数据去重方法相比于未优化的键值去重系统,随着键值对变大键值系统去重的性能变好,在键值大小由1K变化到16K时,写操作耗时平均减少了73%;读操作耗时平均减少了45%。同时数据的冗余度升高时,能达到稳定良好的数据去重效果并且性能也有一定程度的提升。当冗余度在0%变化到30%时,冗余度每增加10%写操作耗时减少5%到10%。同时在操作系统资源消耗有所增加。