数据挖掘近年来获得了越来越多的广泛关注。对大型的、复杂的、信息丰富的数据集进行处理是所有机构组织、企业、政府部门的共同需求。Hadoop提出一个非常有效和实用的工具为大数据分析,能解决大数据带来的高容量、高速率和多样性的三大挑战。本文研究了基于Hadoop平台的数据挖掘算法:1.Apriori算法的主要缺陷是频繁扫描数据库。为了解决这个问题,本文通过分析MapReduce的并行思想,提出了基于Hadoop的Apriori改进算法。(1)用MapReduce类似单词计数的过程来并行扫描数据库,减少了算法频繁扫描数据库的频率;(2)对map阶段具有相同项、不同顺序的项集进行按字母排序后得出同一项集,简化了事务集。通过实验仿真比较了改进的H-Apriori算法与传统Apriori算法。2.单机的逻辑回归算法在处理大数据时需要很长的运行时间,为了解决这个问题,本文通过分析逻辑回归算法关键步骤并行的可能性,提出了基于Hadoop的逻辑回归改进算法。(1)在逻辑回归模型中增加惩罚因子防止过拟合问题;(2)利用Hadoop的数据分片制定分片长度和分片ID的思想来对预测的数据实现并行化处理。通过实验仿真比较了改进的MR-logreg算法与mahout中并行的逻辑回归算法。实验结果表明,基于Hadoop的改进算法H-Apriori和MR-logreg算法比传统算法具有更好的时间性能。