【摘 要】
:
随着“互联网+”在教育领域的不断渗透,在线学习平台丰富的学习资源为人们获取信息提供了新的契机。但学习资源的多样性和广泛性导致数据呈指数级增长,致使平台用户难以获取满足自身需求的资源。为了追求平台的用户访问量和学习资源点击量,个性化学习资源推荐算法应运而生。它可根据学习者的行为日志挖掘和推送满足自身需求的学习资源,从而达到“个性化推荐”的目的。然而随着在线学习平台数据海量聚集,资源过度膨胀,传统推荐
论文部分内容阅读
随着“互联网+”在教育领域的不断渗透,在线学习平台丰富的学习资源为人们获取信息提供了新的契机。但学习资源的多样性和广泛性导致数据呈指数级增长,致使平台用户难以获取满足自身需求的资源。为了追求平台的用户访问量和学习资源点击量,个性化学习资源推荐算法应运而生。它可根据学习者的行为日志挖掘和推送满足自身需求的学习资源,从而达到“个性化推荐”的目的。然而随着在线学习平台数据海量聚集,资源过度膨胀,传统推荐算法仍面临着由数据稀疏性问题导致的算法推荐精度不佳、推荐实时性滞后等问题。本文针对上述问题,对在线学习资源个性化推荐技术进行研究,将传统推荐算法与大数据技术相结合,提出了在线学习资源实时推荐算法,该算法基于混合相似度并行计算方法预测评分。论文的研究工作如下:(1)提出了一种融合LDA主题模型的混合相似度并行计算方法。首先分析Spark LDA和Spark ALS算法源码,证明本文算法并行计算的可行性。然后基于Spark算子,将学习资源特征文件并行分词后,基于Spark LDA建模得到主题-词概率分布RDD,利用KL散度计算基于主题-词概率分布的资源相似度RDD;并将资源评分文件基于Spark ALS并行训练隐语义模型,得到资源隐式特征向量后,利用余弦相似度计算基于资源隐式特征向量的资源相似度RDD。最后基于join算子及最优调参实验结果,计算得到学习资源的混合相似度RDD。实验结果表明,本文混合相似度并行计算方法减少时间消耗的同时提高了算法的推荐精度。(2)提出了一种在线学习资源实时推荐算法。该算法基于Spark Streaming流式处理框架实现。首先利用Flume日志采集工具进行学习者评分数据的采集。然后实时发送给Kafka消息中间件,进行日志的清理与提取。最后将评分数据推送到实时推荐算法。本算法基于混合相似度并行计算方法预测评分,在预测评分的基础上引入增强因子、减弱因子的同时加入评估时间的数据权重,从而使用户在最近几次评分后,可以明显获得推荐结果。实验结果表明,本文在线学习资源实时推荐算法能够有效解决推荐实时性滞后问题。(3)本文综合利用上述融合LDA主题模型的混合相似度并行计算方法和在线学习资源实时推荐算法设计了大数据环境下在线学习资源推荐系统。该系统包含离线推荐和实时推荐体系,具有一定的应用价值。
其他文献
在当前社会中,智能安防越来越凸显其价值,是维护社会长治久安的重要手段。自动视频分析系统是智能安防系统的一个子系统,主要是从监控视频内容中提取关键的行人信息。行人重识别正是自动视频分析系统的核心技术之一,目前已成为了深度学习领域的研究热点。近年来,基于深度学习行人重识别方法在开源数据集上已经表现出优越的性能,但是在跨域行人重识别问题上性能明显下降。本文深入分析了跨域行人重识别存在的问题,并利用深度学
近年来,面向智慧司法服务的法律判决预测已成为自然语言处理领域的研究热点。判决要素抽取是法律判决预测研究的重要子任务之一,其旨在从法律文书的事实描述中自动识别出不同的判决特征,现有研究主要是从法律文书的事实描述部分抽取出判决要素词汇或句子。法律判决要素抽取是判决预测研究的重要依据,为判决预测的结果提供可解释性。本文基于2019中国“法研杯”司法人工智能挑战赛“要素识别”任务,重点研究面向法律文书事实
聚类集成能够产生高质量和鲁棒的划分结果,解决了单一聚类算法只能解决特定问题的缺陷。聚类集成主要包括了两个步骤:(1)生成基划分;(2)信息矩阵的表示及生成一致性聚类结果。加权聚类集成和聚类集成选择是从不同的角度进一步提高聚类集成方法性能的两种方法。聚类集成选择生成基划分后采用不同的准则选出高质量的基划分结果,目前鲜有工作从基划分结果中簇之间的关系出发设计衡量基划分质量的标准。现有的加权聚类集成方法
中西方绘画是世界历史文明发展史上重要的文化作品形式之一。在历史进程中出现了许多优秀的绘画作品,这些优秀作品是研究历史、文化、艺术和科技的重要载体。随着互联网技术数字化的日益普及,越来越多的绘画艺术作品被录入电子图书馆,艺术爱好者欣赏优秀的绘画作品变得更加容易。逐渐增加的数字绘画图像为学者们带来丰富的研究资源,同时,如何将大规模的数字绘画图像进行有效分类,是目前亟需解决的热点问题之一。绘画作品与普通
近年来,机器阅读理解研究受到国内外自然语言处理领域学者的广泛关注,已成为评价基于自然语言理解的智能系统的核心任务之一。2015年,国家科技部启动“语言问题求解和答案生成关键技术及系统”项目,其主要目标是研制出能够参加我国高考的智能答题机器人,并提升机器对自然语言的理解能力。在该项目的推动下,面向真实高考阅读理解试题的自动答题研究成为近年来机器阅读理解任务中的又一挑战。深度学习方法已被证明是机器阅读
机器阅读理解是近年来自然语言处理一个热门研究领域,本文聚焦高考语文文意理解多选题,该题型考查的是对文章局部信息、主旨、作者意图和态度的把握,文意理解的选项复杂多变,主要测试机器对文章语义关系、散文结构、写作技巧、篇章主题和作者情感等内容的理解能力以及对文章整体的把握能力,挑战极大。本文首先分析选择题与选项特点,其次将选择题答题技术分为两种,一种是基于两段式的阅读理解答题技术,一种是基于联合训练的端
2018年教育部新课标方案提出人工智能进课堂,将编程技术纳入高考范围,编程地位直线上升。在国家的号召下,现在很多中小学都非常重视学生编程能力的培养,所以开发一个编程教学管理与资源推荐系统对学校高效的开展编程课程是非常有必要的。目前中小学程序设计等课程存在的主要问题有:学生上机练习机会较少,缺少便捷高效的编译环境;教师与学生之间课堂沟通不足;学生自学时,面对种类繁多、数量庞大的学习资源,难以选择。编
随着智慧司法服务的快速发展和广泛应用,对司法文书的分析与挖掘已引起越来越多的关注,命名实体识别(NER)作为司法领域研究中的一项基础性任务,它能为司法知识图谱构建、法律判决预测和机器阅读理解等一系列的研究工作提供重要的知识。命名实体识别旨在识别出文书数据中的实体指称项,并标明其实体类别。近年来,许多命名实体识别的研究工作均基于深度学习、神经网络模型等,但专门针对司法领域实体识别的研究还相对较少。目
大数据时代,实际应用领域搜集到的数据往往呈现出更多复杂特性,作为一种较多见的数据形式,区间型数据在金融、气象、农业等诸多领域广泛存在。尽管对于区间型数据的表示、分析、挖掘已有一些研究,但大多数研究都是针对静态区间型数据,对于实际应用中随时间不断更新的动态区间流数据,目前的研究还相对较少。由于区间流数据所具有的时序特征,传统静态区间型数据的分析挖掘方法往往不能直接使用。针对这个问题,本文提出一种基于
随着现代信息技术和移动互联网的发展,信息量以惊人的速度产生和传播,面对数不胜数的信息量,人们难以在短时间内筛选出有用信息。为了帮助用户在节省时间的同时寻找到有用信息,推荐系统应运而生,并得到迅速发展。传统推荐算法通常认为用户兴趣随时间推移是稳定不变的,然而,在真实场景中,随着时间的变化,用户兴趣偏好不断发生改变,新产品的出现、季节的交替、流行趋势的变化等均会影响用户的选择。因此,如何从历史行为数据