基于Map/Reduce的分布式数据排序算法分析

来源 :华东师范大学学报:自然科学版 | 被引量 : 0次 | 上传用户:qyc88107
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法.
其他文献
随着计算机及其网络科技的迅速发展,网络安全已经成为信息化关注的热点。因为电子化办公的普及,使得网络系统急速扩张。随之而来的网络安全已成为重中之重。而作为计算机网络发展支柱的网络工程,在网络的高速发展阶段显得颇为重要。网络工程的安全影响着计算机网络系统应用中信息的保密程度。所以本文就简单描述网络安全技术,并且对网络安全在网络工程中的实践,从需求,拓扑结构,系统安全,网络扫描等方面进行深度的分析。其目
摘要:该文提出一个改进算法,将用户之间的好友关系加入到隐语义模型来提高推荐结果准确性。该算法利用用户和项目之间的隐类和及其可用的元数据等,从而把隐式反馈信息加入到推荐算法当中,该算法首先通过用户的历史项目数据构计算得到用户之间的能有效表达用户信任兴趣关系的亲密程度,将其加入到gSVD 模型中,形成新的FgSVD 模型,并产生推荐。该模型采用movielens数据集进行验证,实验结果表明,该算法
摘要:该文通过对大学生思想状况进行调查,深入了解大学生对网络意见领袖的认识,从个人特征、话题特征、心理特征和心智特征等四个方面进一步分析了网络意见领袖对大学生思想状况产生影响的成因,并探索了网络意见领袖对大学生所产生的积极和消极影响,最后提出正确引导网络意见领袖对大学生思想状况影响的对策和建议。  关键词:网络意见领袖;影响力;大学生思想  中图分类号:G41 文献标识码:A 文章编号:1009-
随着互联网的不断发展,一种新兴的学习方式诞生了——在线自主学习。在线自主学习与在线学习有很大差别,与平常的自主学习又存在少许差别。它将这两种学习方法结合起来,取两
高等教育事业发展的核心动机,在于及时提升学生个体专业技能应用实力和职业道德素质水准,辅助教师利用不同阶段思维创新成就进行实验室综合管理教学方案补充完善,可以说是如