基于Spark的混合推荐系统分析与实现

来源 :长江大学 | 被引量 : 0次 | 上传用户:saialmaster
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代下,推荐系统已经成为解决信息过载的重要手段。但是,推荐系统目前依旧面临着诸多问题,如数据稀疏性、冷启动和时效性等。针对上述问题,本文提出了一个联合内容推荐、交替最小二乘(Alternating Least Squares,ALS)推荐、神经矩阵分解(Neural Matrix Factorization model,Neu MF)推荐的混合算法。然后,在Spark平台上实现了一个电影领域的混合推荐系统,该系统能在一定程度上提升推荐的准确性、时效性。本文主要工作内容如下:首先,针对传统推荐算法的数据稀疏和冷启动,采用融合内容推荐和ALS推荐的混合推荐的方法,在此基础上,提出了一个融合Neu MF的算法,解决了ALS模型的线性表达能力不足的问题。其次,在所提出的混合推荐算法上,设计了混合推荐引擎和Web应用,结合Pyspark和Tensor Flow在分布式平台上同步训练内容推荐、ALS推荐和Neu MF模型,用Python实现了电影的混合推荐系统,并具备软件界面的用户友好性。再次,通过不同节点数和数据量下的运行效率对比,表明了Spark在大数据处理上的优越性。通过控制变量,优化了混合模型参数,并对混合模型的不同算法进行性能对比,结果表明本文提出的混合推荐算法对命中率有较大提升。本文在Spark上将传统的推荐算法与Neu MF神经网络算法相结合,实验结果表明,在分布式平台下前者的可解释性强和后者的表达性强的优势能较好结合,基于本文提出的混合推荐算法实现的电影推荐系统,能给用户提供更个性化、更流畅的信息服务。
其他文献
当前油田职工老龄化不断加深,共青团影响力不断减弱,为了提高广大团员的工作热情和参与活动的积极性,开发一个基于积分管理的信息管理平台有着重要意义。本文主要从三个方面
崛起于晚清光绪朝的临桂词派,是中国古代文学史上最后一个古典词派,也是一个在时代中求新求变的词派。这一词派最与众不同之处就是其成员的社会身份,他们均由科举正途出身,互
目的探讨手术治疗慢性踝关节外侧不稳定的临床疗效。方法选取2013年10月-2015年10月在平煤神马医疗集团总医院接诊的130例慢性踝关节外侧不稳定患者,患者均接受手术治疗,利用
本文结合工程实践经验,就沥青路原材料的控制措施、沥青混凝土混合料的运输以及沥青路面的摊铺与压实等问题进行了探讨。
数据是科学研究工作的重要基础,随着信息技术的发展和大数据时代的到来,人文社会科学领域的研究数据获取与处理已经出现了新的趋向,进而带来了研究范式的转型与研究内容的革
基于矩阵中元素统计的方法,给出了计算周期为p~2的q元序列k–错线性复杂度的新方法,其中,p, q为奇素数且q为模p~2的本原元。给出了一个一般性的结论及其证明,并通过列举2类周期为p~2的q元序列及其实例来验证结论的正确性。该方法不需要迭代计算,通过程序实现并与现有算法进行效率比较,结果表明所给出的新算法在计算周期为p~2的q元序列的k–错线性复杂度方面效率明显更高。
该校的医学教育国际标准本土化改革已实施两年。在教学理念、教学内容设计与创新以及当代教学方法与手段集成创新等方面进行了有益尝试,取得了良好成效,为提高医学教育质量提供