信息化时代的到来,方便了人们对于信息的获取,但同时也带来了一些问题:过载的信息超出了人们所能处理的范围从而导致无法准确得到自己想要的数据。为了能够帮助人们从资源的海洋中快速、准确的得到自己想要的信息,推荐算法成为了最好的选择。传统的推荐算法较为普遍应用的是协同过滤算法,该算法确实带来了一定程度上的便利,帮助人们节省时间与精力。然而,协同过滤算法本身具有的局限性使得它有时无法精准的为用户推荐想要的内容,比如存在数据稀疏性,可扩展性低以及数据量庞大时计算速度慢等问题。本文基于传统推荐算法,采用Slope One算法解决数据稀疏性的问题。传统的数据矩阵的数据普遍缺失,因此计算得到的结果往往会出现大的偏差。本文通过对未评分的部分进行计算预测,得到预测评分值,再将预测评分值写回到数据矩阵中,降低数据矩阵的稀疏性,从而提高了推荐的精准性。然后使用均值漂移聚类算法对已经弥补了稀疏性的数据实行聚类,将数据分类之后再进行计算,这样可以减小目标对象的最近邻搜寻空间,增加可扩展性,同时也提高了计算结果的准确性。当数据量过多时,如果还是把数据存储在单一的数据库中,此时无论是IO还是CPU都会承受不住压力,因此计算速度将会明显下降,从而推荐的速度也会下降。若此时反复进行计算推荐,甚至会出现推荐偏移、不准确等问题。本文为了解决这一问题,设置虚拟机,在虚拟机上搭建Hadoop集群,将数据分散存储在不同的Hadoop节点中,分担了单个节点的数据存储压力,当进行数据的计算时每在个节点上分别进行计算,最后将结果汇总并输出,这大大提高了计算的速度,能够更好的处理规模庞大的数据集。最后,通过采用对比实验进行分析,表明在经过本文的算法优化后,可以在一定程度上缓解数据的稀疏性以及提高可扩展性。通过开启Hadoop集群不同的节点,分别进行不同节点数时的速度测试,证明了Hadoop集群可以提高计算的速度。