基于LDA主题模型的高校新闻话题发现研究

来源 :北京交通大学 | 被引量 : 7次 | 上传用户:jendychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
“互联网+”时代,网络新媒体得到了迅速发展,网络新闻逐渐成为人们获取信息的主要来源。高校学生作为网民中的主力军,对于新闻信息的获取更加依赖于网络。因此,如何从高校学生浏览的社会新闻中挖掘出不同的话题类型,及时掌握高校学生对于社会新闻话题的关注度及异常关注情况,引导学生正确看待社会新闻事件,对于高校思想教育工作的开展具有十分重要的意义。本文以学生浏览的社会新闻为研究对象,采用能够进行语义挖掘的LDA主题模型来对新闻文本进行表示,在对现阶段话题发现流程中涉及到的技术进行深入研究后,针对高校新闻话题发现技术中存在的问题提出了改进方案,使高校新闻话题发现的结果更为准确,具体工作开展如下:(1)针对标准LDA对新闻文本建模存在主题分布向高频词倾斜的问题,本文在优化了数据预处理流程的基础上提出一种基于标题加权的LDA主题模型。首先,通过整合停用词表及权值过滤的方式对文本建模的预处理流程进行优化,达到文本特征降维的目的,并在一定程度上降低无效高频词在主题中的分布概率。其次,由于新闻标题对新闻内容具有高度概括的作用,利用这一特点在LDA模型中引入了标题加权策略,建立标题-权值索引表对模型训练过程中的Gibbs采样算法进行改进。最后,通过实验结果表明,本文提出的文本建模方案不仅提高了模型训练的效率,还提高了标题词在主题中的分布概率,使得主题的描述更加准确,不同主题之间的区分度增强,因此对于文本的表示更加合理,能够在一定程度上提高话题发现结果的准确率。(2)在高校新闻话题发现阶段,本文提出了一种改进相似度计算方式的双层Single-Pass算法来提取新闻话题的类型,解决了传统Single-Pass聚类对于文档输入顺序敏感的问题。通过对比实验发现,改进的文本聚类算法在召回率、准确率和F值上都有明显的提升,使得高校新闻话题发现的结果更为准确。(3)采用本文提出的话题发现方法对采集到的高校新闻数据进行分析,得到学生关注的话题类型以及关注度。由结果可知,高校新闻话题发现研究对于高校学生工作的开展具有一定的指导作用。
其他文献
对腾格里沙漠东南缘风成沉积相典型剖面 (中卫南山剖面 )年代的测定 ,建立了 60 ka以来腾格里沙漠演化的时间序列 ,并结合各地层粒度组分分析结果认为 60 ka以来腾格里沙漠演
我国吸烟率多年来一直居高不下,且吸烟者往往对吸烟行为呈积极态度、缺乏戒烟动机。吸烟警示信息是一重要宣传途径,在控制吸烟率中发挥重要作用。以往研究表明吸烟警示信息存
注硼中子寿命测井工艺包括注硼施工工艺和测井施工工艺2部分.应用研究表明,从现有仪器性能、产层地质状况、井眼环境等方面着手,针对注硼浓度、注入压力选择、测井时机把握等
RNA干涉(RNAi)是基因表达调控的一种重要机制,是由双链RNA诱导产生的转录后水平的同源基因沉默现象。RNA介导的基因沉默具有特异性强、效率高等特点,近年来逐渐发展成为适于大
目的研究RFID标签Inlay封装工艺对标签质量的影响。方法主要讨论Inlay封装过程中的点胶工艺、拾晶工艺、热压固化工艺等对封装质量的影响,着重研究热压固化工艺参数对封装质
文章简要介绍了数据挖掘知识的相关概念,并举例叙述了数据挖掘在现代服装行业中的具体应用情况,最后提出数据挖掘技术对服装行业的影响与展望。
几丁质(chitin)广泛存在于蟹、虾等甲壳动物的外壳及各种昆虫的表皮和贝类等软体动物的外壳中,是自然界中唯一带正电荷的阳离子聚合物,其脱乙酰度超过50%时为壳聚糖(chitosan)。几丁质具有安全无毒、生物相容性良好、生物可降解性等优点并以良好的抗菌活性,抑虫/杀虫活性,调节植物生长发育而广泛应用于农业生产的研究。几丁质/壳聚糖分子表面的游离氨基是其具有生物活性的原因,由此产生的聚阳离子效应是
公安院校作为公安民警培养和成长的摇篮,是公安队伍建设的关键所在。历经几十年的发展,公安教育取得了非常大的成绩。随着市场经济的深入发展,传统公安教育模式与新时期公安
目的 比较早产儿早期微量奶瓶喂养和间断鼻胃管喂养的相关并发症的发生情况。方法对早期微量奶瓶喂养和鼻胃管喂养的50例早产儿进行临床观察,在用同一种早产儿配方奶喂养下观
改革开放给整个中国带来了巨大的变革,艺术也深受到影响。当今中国正处在一个多元化的时代,而多元化也是雕塑艺术寻求发展的重要法宝。论文选取长沙雕塑艺术为研究对象,长沙有着源远流长的历史、得天独厚的地理位置和深厚的湖湘文化底蕴,在本土文化的基础上发展起来的长沙雕塑艺术有着独特的历史发展脉络,同时经过几代艺术家的不懈努力,改革开放后的长沙雕塑艺术形成了多元化发展趋势,这种趋势不仅有迹可循,而且在长沙雕塑艺