随着数据技术的快速发展,数据挖掘技术在推动各行业的产业发展中发挥着越来越重要的作用。但是,数据挖掘需要高质量的数据,大多数的自然数据通常会存在例如重复值、缺失值、异常值等异常数据,这些低质量的数据会带来错误的结果甚至引发灾难性的问题。因此,如何对低质量数据进行异常检测与修复是一个不容忽视的问题。目前,国内外相关研究在异常值方面未考虑数据特征的相互关系,降低了检测精确度,缺失值方面对通用数据进行填补效果不理想。针对上述问题,本文设计实现一个基于Spark平台的数据异常检测与修复的系统,提出一个两阶段算法。第一阶段是一种基于分组的数据异常检测算法,该算法对传统的LOF(Local Outlier Factor)算法进行改进,并考虑属性变量间相关性,利用CF-Tree对属性变量进行分组,最后对算法进行并行化改写,以提升检测效果;第二阶段是一种基于随机森林的数据异常修复算法,该阶段的算法对第一阶段得到的异常数据进行修复,为适应不同类型数据样本,引入改进的网格搜索的方法对预测模型进行不断调整,通过动态调参的方法和并行化的方式生成高质量数据。实验结果表明,本文设计的数据异常检测和修复方法在精度上有所提升,并且检测方法在时间上有一定优化。