基于Hadoop平台的微博用户影响力算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:Tianjun9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博客的出现形成了一种新的媒介现象,使得人们对当下的政治、经济、体育、娱乐等方面的消息有了更及时、更深刻的了解。四面八方的言论更对受众的思想行为产生了巨大的导向作用,其中受大V用户的影响最为明显,这里的大V用户所指的是具有很高影响力的用户,该类用户所发起的讨论和话题极具影响力在社会上,甚至可以这么说,这些大V用户极大程度上的引领并制造了当下社会的热门话题。因此,对微博用户影响力的探究是个值得深入的研究方向。本文将分析用户影响力评估标准指出传统的用户影响力Page Rank算法在计算微博用户影响力中的不足,并提出了一个新的影响力WB-UR算法。互联网的高速发展让世界进入了大数据时代,“大数据”一词在各行各业的领域中都是被讨论的话题,而本文研究所需要的数据来源于新浪微博中海量用户数据,从而进行微博用户影响力的研究。本文将使用便捷、高效的Hadoop分布式计算平台进行数据处理和算法实现的。本文首先对Hadoop平台及其相关技术理论进行了详细介绍,如:HDFS、Map Reduce、HBase。接着讲述了目前评估微博用户影响力的Page Rank算法背景应用和算法原理,然后本文通过详细分析微博网络的用户和行为特性,发现只考虑了追随者数量这个因素的Page Rank算法在微博用户影响力的评估中存在着很大的缺陷,Page Rank算法在用户分配影响力值的过程中是以粉丝的关注数进行均分,却忽略了用户之间的行为,如:转发、评论、点赞,这三个因素对用户的影响力有着不同大小的作用,因此僵尸粉的存在使得Page Rank算法难以有效、合理的对用户影响力进行排名。本文则以微博用户关注、转发、点赞、评论这四个主要行为因素在用户之间影响力分配过程中的所占权重作为切入点,提出了一种基于Page Rank算法改进的算法—WB-UR(Wei Bo-User Rank)算法。本文是使用Hadoop平台实现WB-UR算法,在HBase中设计了两张数据表,存放的是本文算法所涉及到的数据。接着使用Sqoop工具将数据导入HBase设计好的表中以便于高效提出实现算法所需数据。最后,本文在搭建成功的Hadoop平台上分别实现Page Rank算法和WB-UR算法,接着分别对Page Rank算法和WB-UR算法的实验结果进行对比分析后,验证了WB-UR算法相对于Page Rank算法的用户影响力排名更加符合实际情况,优化后的WB-UR算法在用户影响力的评估上比Page Rank算法有着更全面、有效、可靠性高的优点。
其他文献
摘要:作为一种心理需求和精神境界,理想信念有其自身的形成规律。大学生作为中国特色社会主义事业建设者和接班人,坚定理想信念至关重要。全面准确地分析和把握大学生理想信
水体藻类生长的时空变化及与磷的关系对研究水体富营养化十分重要,因此本研究采用GPS定位,对滇池海埂、斗南、罗家村、新街、昆阳等五个代表性样点水体叶绿素a的含量(2003年5
通过3因素3水平的正交实验,优化了黄瓜汁、鸡蛋清、淀粉的添加量对鱼丸质构特性及感官品质的影响,并研究了其在冷藏条件下的品质变化规律。结果显示,在最佳配料比为:黄瓜汁17
在我国经济和社会文明建设快速发展、人居环境质量不断提高、城镇化进程持续加快的情况下,迫切需要加强风景园林高层次人才的培养。系统地阐述了城市规划与设计(风景园林规划
生物胺是一类具有生物活性的低分子量含氮有机化合物的总称,适量生物胺有助于人体正常的生理功能,但生物胺含量过高不仅会降低发酵香肠品质,而且会对机体健康造成不良反应。
<正>各种原因造成的肺损伤可导致肺纤维化(pulmonary fibrosis,PF),其实质为细胞增殖与凋亡的过程。肺损伤后活化的肺吞噬细胞,释放致纤维化物质刺激肌成纤维细胞(MFB)的增殖
企业员工凝聚力是企业中成员之间相互联系,相互作用的关系,是企业的向心力。随着市场经济的建立和发展,理论界和企业界都越来越重视企业员工凝聚力这一问题。本文主要是对这
详细介绍了压力容器制造行业在焊接工艺、焊接材料及热处理工艺方面的现状及发展方向.
芦苇是对中国西部电影贡献最大的编剧之一。他担纲编剧的影片《黄河谣》《秦颂》《西夏路迢迢》《图雅的婚事》等均属谈论中国西部电影不可绕开的重要作品。芦苇的西部电影剧
<正> 压力容器焊后热处理是压力容器制造过程中最后阶段关键工艺。焊后热处理质量直接影响到压力容器的整体内在质量。与焊缝缺陷不同,焊后热处理不能返工,热处理耗时长,耗资