基于Spark的推荐系统设计与实现

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:wsx19810518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和信息技术的不断发展,推荐系统被应用在在线音乐、在线电影、游戏、网络购物等领域中,推荐系统已经成为一种解决互联网信息冗余和信息过载的必要手段。由于运行在单机的推荐系统计算速度迟缓,可扩展性差,推荐准确度较低,已不能满足大数据环境的需求。因此基于Spark的推荐系统研究应运而生。本文设计实现了一个基于Spark的推荐系统,改进ALS算法,该改进算法的目的在于提高推荐算法推荐的准确度。本文的主要研究内容如下:(1)设计实现了一个基于Spark的推荐系统。该系统能够改善单机计算速度迟缓、可扩展性差、只能处理部分数据等问题。(2)本文通过对传统ALS推荐算法的研究分析的基础上,发现该算法没有有效使用隐式反馈信息而造成推荐准确度较低问题。针对该问题,通过引入信任度对ALS做出了改进,即ALS-WR算法。通过对两种算法的实验结果表明ALS-WR算法与传统ALS算法相比推荐准确度进一步提高。并将ALS-WR算法应用到基于Spark的推荐系统中,提高了信息推荐的准确度,并且基于Spark的推荐系统与传统单机系统相比具有较强的数据处理能力和较高的可扩展性。
其他文献
当前,膜技术产业在全球范围中受到了从未有过的高度重视,并被视为潜力巨大的朝阳产业。由于膜技术产业在21世纪的多数工业中扮演着极其重要的战略性角色,因此从本世纪开始,全
随着互联网的普及和高速发展,给人们的日常生活带来翻天覆地的变化,当今社会正在步入“互联网+”时代。电子商务在“互联网+”中扮演着重要的角色,在近年来取得了巨大的成功
运用超临界CO2分离技术萃取野生赤芍中的挥发性成分,采用气相色谱-质谱联用技术和邻苯三酚超氧自由基产生法对萃取物的化学成分进行分析和清除研究。研究结果表明,用体积分数
工业化与城市化一方面是推动社会经济发展的主要动力,另一方面也承载了经济的发展。在改革开放和党中央四化一体的改革思路指导下,我国的经济迅猛发展,工业化与城市化发展都
衡量煤炭企业是否进步的主要依据之一是其循环经济发展状况,而煤炭企业进行绿色矿山建设是发展循环经济的一种重要举措。加强煤炭企业绿色矿山建设项目的绩效评价对促进煤炭
本论文以长寿经济技术开发区为研究载体,通过分析国内外煤化工产业发展现状和未来发展趋势,结合重庆市现有化工产业现状,我市化工行业发展规划和市场需求,确定出未来煤化工发
流感是一种重要的人畜共患病,给养殖业和人类公共卫生安全带来巨大的威胁,A型流感病毒(Infulenza A virus,IAV)能够感染多种宿主并在其体内进行复制,核糖核蛋白复合体(Viral ribonucleoprotein complex,vRNP)是IAV转录复制的最小单位,vRNP的核心部分为聚合酶三聚体,由酸性聚合酶(Polymerase acid protein,PA)、碱性聚合酶1
英语语篇阅读对中国英语学习者而言在本质上是一种跨文化活动,是学习者建构文化图式、增强文化认知能力、提升跨文化能力的重要途径。本研究基于跨文化能力培养相关研究,以ES
<正>政治能力是政治干部的立身履职之本。落实习主席关于"注重提高政治能力"的重要指示,政治干部必须从政治信念、使命担当和严实作风等方面入手,着力提高与履行职责相匹配的
六西格玛质量管理方法归纳且吸收了全面质量管理的成功经验,对以顾客为核心的顾客满意理论、以人为本的现代经济管理理论等也有不同程度的吸纳,是企业提高核心竞争力,追求卓