随着移动互联网的普及,数据量呈现爆发式增长。然而,人们却经常抱怨“数据丰富,信息贫瘠”,其主要原因是对数据质量的把控能力有待提高。因此,数据清洗环节作为ETL过程的首要步骤,受到越来越多人的重视。字段缺失是数据清洗领域中常见问题,也是对数据挖掘算法影响最大的异常状态。传统算法对缺失字段的填充正确率较低,因此,我们需要使用新的思路来解决这一问题。与此同时,PB级别的数据量使得以往单机模式的存储和计算技术都受到了前所未有的挑战,为了解决这些问题,分布式技术应运而生。如何有效地使用分布式计算技术来进行数据清洗,并对计算过程做出优化,成为这一研究领域的热点问题。本文提出一种基于关联规则的空缺值填充算法,并完成基于Spark架构的数据填充系统实施和程序优化,具体工作如下:(1)根据关联规则来设计缺失字段填充算法。通过修改关联规则中项集增长、规则选取等步骤策略,避免了规则集生成过程中的冗余计算。(2)部署分布式集群,其中包括分布式存储系统HDFS、计算框架Spark和数据仓库分析工具Hive等,并安装用于存储元属性信息的Mysql等软件。(3)完成基于Spark框架的分布式数据填充系统,并对中间结果集持久化和负载均衡等环节做出优化。在保证程序逻辑合理的同时,提升系统资源利用率。