随着大数据时代和人工智能领域的发展,数据的存储和挖掘处理凸显的愈加重要,同时出现了数据质量降低的问题。数据清洗能够有效处理数据质量问题。以国内某电商网站开展促销活动前一个月的用户点击日志数据作为清洗对象,针对其存在的重复数据问题,采取合适的清洗方法进行处理,目的是提高日志数据的清洗效率。对于日志重复数据的清洗,按照重复数据的类型分为两大块内容,一块是清洗完全重复数据,一块是清洗相似重复数据。首先,对完全重复数据的清洗。利用Hadoop分布式文件系统进行日志数据的存储。通过其副本管理和心跳机制,保证日志数据存储的高效性和完整性;利用Map Reduce强大的并行计算能力结合自定义清洗规则,统计完全重复数据的数目和剔除多余的完全重复数据。实验可以实现所有完全重复数据的清除。其次,清洗相似重复数据需要能够准确高效地识别相似重复数据。针对相似重复数据的检测,提出了基于字符频率的编辑距离算法。该算法是在传统编辑距离算法的基础上考虑了字符频率,使得字符匹配综合考虑的信息更多。通过编辑距离算法和基于字符频率的编辑距离算法的对比试验,后者对重复字符的检测查准率达到了80.4%,在传统编辑距离算法检测查准率77.2%的基础上提高了3.2%,实验证明改进算法的检测效率得以提高。最后,清洗相似重复数据是重点也是难点。针对相似重复数据的清洗提出了一种非固定窗口近邻排序算法。该算法根据记录的相似度多少决定窗口大小,相似度由窗口中的记录匹配计算所得。进行了以下实验:实验一,对比不同窗口大小下,传统近邻排序算法对日志数据的清洗效果,清洗效果最优的近邻排序算法窗口大小是5。实验二,将窗口分别取5和7的传统算法和改进算法的清洗查准率和清洗耗费时长情况进行对比分析,进而检验了非固定窗口近邻排序算法的查准率随着处理数据量的增多,较传统算法会有小幅度提高。与实验二形成对比,实验三修改记录选择的关键字,进一步验证改进算法的查准率得到提高的结论。图27幅;表13个;参55篇。