基于分布式处理平台的组合推荐系统设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:zd013wyt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,伴随着互联网技术的快速发展,网络数据出现了爆发式的增长趋势,信息过载问题日益突出。为了让用户能够快速有效地获取自身所需信息,也为了使企业从海量信息中有效地挖掘出用户的兴趣偏好,推荐算法应运而生。传统的单一推荐算法在一定程度上实现了个性化推荐或社会化推荐,但依然面临着冷启动、数据稀疏性和大规模数据集下的系统可扩展性等问题;以Hadoop和Spark为代表的分布式处理平台不仅能最优化地使用各个计算机结点的存储、计算资源,而且能够在保持高可靠性、高可用性、数据一致性的同时实现并行计算,为大规模数据集的处理提供新的解决方案。立足于推荐算法的发展现状,本课题将多种单一推荐算法在不同层次进行组合,设计出组合推荐算法:采用中组合的策略,将基于内容的推荐和基于协同过滤的推荐进行组合,设计出基于用户的中组合推荐和基于物品的中组合推荐,分别解决了用户冷启动问题和物品冷启动问题;采用后组合的策略,将两种中组合推荐算法进行组合,设计出基于用户-物品的后组合推荐,同时解决用户冷启动问题和物品冷启动问题,并保持协同过滤推荐的个性化、社会化特点;采用级联型组合的策略,将基于用户-物品的后组合推荐和基于交替最小二乘法的推荐进行组合,设计出基于交替最小二乘法的级联型组合推荐,解决了数据稀疏性问题,并提升推荐精度。最后,将所设计的组合推荐算法部署在分布式处理平台,以适应大规模数据集的处理。本课题的创新点如下:1)提出了一种基于误差的矩阵动态线性加权法,根据单一推荐算法的评分预测误差计算加权系数,进而最优化地解决冷启动问题;2)提出了一种基于填充的数据稀疏性解决方案,用初步的评分预测结果对原始数据中的缺失值进行填充。测试结果表明,本课题所设计的组合推荐算法能有效解决用户冷启动问题、物品冷启动问题和数据稀疏性问题,并提升推荐精度;部署到分布式处理平台,具备了可扩展性。
其他文献
社会心态有积极与消极之分,积极的社会心态有利于社会的稳定、和谐与发展,消极的社会心态会败坏社会风气、扰乱社会秩序、增加社会风险和加大社会管理难度。公共权力运作不规
肌糖原(Muscle Glycogen)是人体中主要的糖储备形式,可为肌肉收缩迅速提供能量。长时间、高强度的运动会大量消耗肌糖原,影响运动能力。肌糖原快速合成对运动后恢复至关重要,
摘要:中国戏曲没有舞台就不成戏曲,而舞台布景的搭建技术与水平可以影响到戏曲表演的整体效果。新技术与新材料的出现,势必会带来中国戏曲舞台布景上的演变。基于此,笔者借本文对中国戏曲舞台布景演变进行相关阐述,以供读者参考。  关键词:中国戏曲;舞台布景;演变  中图分类号:J814.1 文献标识码:A 文章编号:1671-864X(2015)03-0021-01  一、中国戏曲舞台布景在绘景方面的演变 
目的通过对阴虚体质者调体干预前后的体质量表数据对比,评估《阴虚体质养生保健方案》的实用性。方法 2014年9月至12月选择在校大学生作为体质调查对象,发放并填写《中医9种
<正>0前言上世纪70年代末至90年代中,全国兴建了一大批300~600t/d规模的小型带预热器的旋窑水泥厂,至今这些水泥厂由于规模小,设备老化以及能耗较高等原因,生产成本和质量方面