大数据环境下改进推荐算法研究与实现

来源 :中国石油大学(华东) | 被引量 : 0次 | 上传用户:rjviva
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的迅速发展,为信息量的惊人膨胀提供了土壤,大量信息在给人们提供更多价值的同时,也意味着人们为了寻找合适的信息必须付出更大的成本。推荐系统作为一种普遍使用的信息过滤手段,已越来越受到人们的重视。由于协同过滤算法的易理解性以及其仅依赖历史评分数据等特征,使其成为使用最多的推荐算法之一,但其本身存在着冷启动、数据稀疏性、难以扩展等问题。同时,随着物联网、云计算、移动互联网等新技术的快速发展,当前的数据量级甚至达到了PB、ZB级,信息社会已步入大数据时代。然而,商品和用户数量的急剧增加,使得单机系统的计算时间、存储空间都已成为影响推荐性能的重要因素,如何在大数据环境下改进传统推荐算法已成为一个亟待解决的问题。为取得更好的推荐效果,本文以解决或在一定程度上缓解这些问题为目标,首先重点分析了传统经典推荐算法以及常见的改进推荐算法在推荐系统中的应用,并针对传统推荐算法存在的冷启动与数据稀疏性问题,提出了一种将用户人口统计特征与信任机制相结合的协同推荐算法,并进行多组对比实验,实验结果表明:该方法不仅对推荐准确率有明显提高,而且由于引入了人口统计特征与信任机制,考虑了多重因素的影响,极大的缓解了冷启动与数据稀疏性问题。另外,针对大数据环境下,面临海量数据时出现的计算性能及可扩展性等问题,本文将提出的改进推荐算法进行MapReduce并行化处理,并进行了相关对比试验。实验证明了本文并行化改进推荐算法在缓解数据稀疏性、解决冷启动问题、并提高推荐准确性的同时,在扩展性及计算效率上都有较好的效果。最后,为进一步验证算法的实用性和有效性,本文设计了一个基于改进推荐算法的在线书目推荐原型系统,在对系统需求分析的基础上,介绍了系统的设计框架与流程,采用Hadoop分布式框架、JavaWeb技术以及MySQL数据库构建系统,并展示了推荐结果。
其他文献
在新的商业环境中,企业面临着多种多样的问题,为了让企业在这复杂而又充满机遇的环境中立于不败之地,一种新的管理方法——企业项目化管理应运而生,但同时它的发展普及却又遭
经济学家对于政府监管问题的研究是对政府会计监管进行研究的理论基础,从不同角度进行研究让经济学家们提出了各种内容迥异的政府监管理论,这些各具特色的理论对政府会计监管
电子商务的飞速发展,带来了网络购物市场的快速成长,而商品评论已经成为影响网络购物平台生存和发展的重要因素。本文从口碑营销的角度分析了在线评论中相同的评论内容放在追
随着知识经济的到来,世界经济从物质资源竞争逐渐发展为人力资源的竞争,人力资源信息披露又是企业了解人力资源竞争优势与长远发展的关键,它关系着管理层和投资者的决策及现
近年来,随着经济的稳定发展,我国市场资源配置得到了很大发挥,为中小企业发展提供了良好的机遇。本文从多角度分析了中小企业财务管理存在的问题,探讨其解决对策,以期为中小
结合全球宏观经济背景,对目前我国平板玻璃行业产业政策进行回顾,对产能严重过剩成因进行分析,为解决行业产能过剩,未来发展方向问题提出解决思路。
本文分析了改革高职院校考核评价机制的现实意义和理论依据。文章通过借鉴国外高职教育考核机制,对我国高职院校学生考核评价机制的改革提出了一些建议。
社会的迅猛发展意味着竞争的白热化,各种节目交相辉映,异彩纷呈,人们的选择空间越来越多,掌握决策权的受众也变得分外挑剔。要想吸引受众的注意力就必须使节目别具一格,与众
我们在安装软件时常常会看到一份"许可协议",假如不选中"同意协议"的操作,则无法继续安装、使用该软件。本文拟就微软视窗操作系统的《MICROSOFT软件最终用户许可协议》所涉
我国政府对城市土地利用的监管作用不可小觑,但目前我国政府在监管城市土地利用方面出现许多问题,导致城市土地利用不够科学和合理,因此需要充分发挥市场机制的基础上建立长