基于Spark的分布式推荐系统的设计与实现

来源 :武汉邮电科学研究院 | 被引量 : 4次 | 上传用户:wangxiang62
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
世界正处于信息科技化时代,全球信息总量飞速增长,但其中所蕴含的价值也越来越大。推荐系统可以依据用户的基本信息及历史行为从海量数据中挖掘出用户所需信息并自动给用户或物品提供个性化推荐服务。如今协同过滤是整个推荐体系中推广最成功和运用最普遍的推荐方法之一,关于协同过滤推荐算法的研究一直处于上升趋势,但是所面临的问题仍然有很多。传统的推荐算法实现过程需要耗费大量的运算时间,时延长,时效性差,已经不能满足当今的商业要求;同时现在采用的大部分推荐算法都存在着数据稀疏和冷启动问题,这都严重影响着推荐结果的准确性。因此针对以上现状,课题将主要从推荐算法的时效性和准确性两方面着手。(1)推荐系统的时效性,对推荐系统所采用的平台进行优化。推荐系统所采用的平台是对数据复杂处理、分析和计算迭代上的性能较优的Spark,在此平台上完成基于als模型推荐算法的并行化,提高数据处理速度;从而使推荐系统耗时更短,用户效果体验更好。(2)推荐系统的准确性,对推荐算法的实现过程进行优化。在spark平台上并行化实现基于als模型的推荐算法。考虑到基于als模型,物品相似性元素缺失和伴随着时间迁移用户兴趣遗忘导致推荐系统准确性过低问题。课题将几种常见的相似性计算进行对比,并在损失函数中融入合适的物品相似性计算来减少隐形因子物品属性信息的丢失,在预测评分中引入兴趣遗忘函数,从而实现实时的准确性较高的推荐。课题采用公开的MovieLens数据集,对比实验结果发现,通过对推荐系统所采用的平台和算法实现方式的优化有效提高了推荐系统的时效性和准确性。
其他文献
为贵州省有效提高种植业比较优势与科学调整种植业生产结构提供政策参考,基于1996—2012年贵州省10种主要农作物播种面积与单产数据,采用比较优势指数法测算了主要农作物生产
“枫桥经验”之所以诞生和发展于枫桥这块土地,这绝非偶然,而是枫桥历史文化孕育滋养的结果,也是枫桥文化传承发展的产物。枫桥是一个有着深厚历史文化积淀的地方,枫桥的耕读
研究探讨“枫桥经验”的时代特征和人本思想,揭示和把握“枫桥经验”的时代背景、实践基础、科学内涵、精神实质,这是发展创新“枫桥经验”,从而把“枫桥经验”提升为“枫桥
为准确鉴别草甸龙胆(Gentiana praticola)、灰绿龙胆(G.yokusai)和四川龙胆(G.sutchuenensis)组植物,用石蜡组织切片法及徒手切片法,对3种植物根茎叶显微结构进行研究。结果
本文介绍南京长江第二大桥南汊主桥流线形扁平薄壁钢箱梁横隔板的空间节段模型和采用梯形纵向加劲肋钢桥面计算的等效格子梁法,分析了正交异性板的第二体系的应力,和传统的Pe
<正>何谓政治规矩?显然,政治规矩不同于法律和纪律。法律和纪律是明文规定的行为准则,而规矩则往往是没有白纸黑字的公开宣示。但政治规矩在实际社会生活中为人们广泛地认知
驻马店市位于河南省中南部,是南北过渡地带。2018年年初,河南中南部地区遭遇室外气温低至-15℃的低温,导致市区内香樟出现大面积冻害。针对此情况,以驻马店市区内各路段及游
<正>马克思主义基本原理具有以下特征:其一,充分体现马克思主义的根本性质和整体功能,是科学性和革命性高度统一的世界观和方法论。其二,相对于个别原理和特殊原理而言,是对
组蛋白甲基化是一种重要的表观遗传性修饰方式,是一个可逆的动态调节过程。组蛋白去甲基化酶家族中组蛋白去甲基化酶4能催化去除组蛋白赖氨酸残基甲基标记,调节染色质的结构,
<正>人物简介阿曼西奥·奥特加,1936年出生于西班牙,13岁开始在服装店打工,1975年开设第一家Zara零售店,1985年成立Inditex集团,2001年上市,2011年宣布退休。2006年的一天,年