论文部分内容阅读
大数据时代下,推荐系统已经成为解决信息过载的重要手段。但是,推荐系统目前依旧面临着诸多问题,如数据稀疏性、冷启动和时效性等。针对上述问题,本文提出了一个联合内容推荐、交替最小二乘(Alternating Least Squares,ALS)推荐、神经矩阵分解(Neural Matrix Factorization model,Neu MF)推荐的混合算法。然后,在Spark平台上实现了一个电影领域的混合推荐系统,该系统能在一定程度上提升推荐的准确性、时效性。本文主要工作内容如下:首先,针对传统推荐算法的数据稀疏和冷启动,采用融合内容推荐和ALS推荐的混合推荐的方法,在此基础上,提出了一个融合Neu MF的算法,解决了ALS模型的线性表达能力不足的问题。其次,在所提出的混合推荐算法上,设计了混合推荐引擎和Web应用,结合Pyspark和Tensor Flow在分布式平台上同步训练内容推荐、ALS推荐和Neu MF模型,用Python实现了电影的混合推荐系统,并具备软件界面的用户友好性。再次,通过不同节点数和数据量下的运行效率对比,表明了Spark在大数据处理上的优越性。通过控制变量,优化了混合模型参数,并对混合模型的不同算法进行性能对比,结果表明本文提出的混合推荐算法对命中率有较大提升。本文在Spark上将传统的推荐算法与Neu MF神经网络算法相结合,实验结果表明,在分布式平台下前者的可解释性强和后者的表达性强的优势能较好结合,基于本文提出的混合推荐算法实现的电影推荐系统,能给用户提供更个性化、更流畅的信息服务。