论文部分内容阅读
数据清洗是提高数据质量的有效手段.分析了从Web上抽取的数据存在的质量问题或错误,针对错误类型,给出属性错误（包括不完整数据和异常数据）和重复与相似重复记录的描述,并提出相应的清洗方法;设计了一个数据清洗系统框架,该框架由数据预处理、数据清洗引擎和质量评估三大部分组成,可以针对不同的错误类型,完成不同的清洗任务.实验表明,该框架具有通用性和可扩展性.