基于网络热点发现的高校舆情监控系统设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:huangyl1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,高校学生可以在校园内随时随地的通过手机、电脑访问因特网,并对社会现象、国际大事、社会道德问题、校园生活等发表言论,这很容易引发舆论危机。建立高校舆情监控系统,分析校园内舆情热点,并为学校领导和学生工作者了解学生的思想动态提供技术支持,消除负面舆情给学校带来的不稳定因素具有重要意义。  本文针对采用爬虫爬取校园论坛话题作为数据源分析舆情热点在时效性和数据完整性以及占用户带宽的缺点,提出了在高校网络出入口通过旁路模式捕获校园网出入口的网络流量,将网络流量还原成原始内容作为高校网络舆情监控的数据源,通过还原分析这些数据来获取高校网络舆情的热点话题,并对这些话题进行监视和管控操作,设计并实现了基于网络热点发现的高校舆情监控系统。首先针对高校网络出口流量大的特点,采用零拷贝的技术对网络数据进行捕获,根据HTTP协议标准进行数据还原,并将还原的数据保存为文件,并将访问者IP、访问时间和访问页面的地址 URL、标题、保存路径等信息存入数据库中。其次,通过综合分析四个方面的信息来获取校园网舆情的热点话题:通过分析搜索引擎的特征来发现搜索热词,用编码转换技术将不同的编码的搜索热词做归一化处理;通过热度计算公式分析出校园网论坛中的热点话题;通过数据库的存储过程技术分析得出周期性的的热点访问报告;通过中文分词、文本向量空间表示、文本权重的计算,用K-means和K-medoids聚类算法将热点访问的页面进行聚类分析,分析出热点访问的
其他文献
互联网的飞速发展使得信息以前所未有的速度产生和传播,面对信息呈指数式增长、垃圾信息泛滥成灾的困境,搜索引擎如何找到对用户真正有用的信息遇到了很大的挑战。在传统的搜索
在现实世界中,许多领域中的数据都可以用“图”来表示。与传统的关系数据相比,图数据有着更大的灵活性。而由于数据本身的不精确、获取数据的实验手段的局限等因素的影响,不确定
随着移动通信技术的蓬勃发展、以及智能移动终端的广为普及,移动云计算正在加快商业化进程的步伐,现在已经有越来越多的用户采用移动设备来享受云服务体验。如何为用户选择“合
随着语义Web技术的不断发展,作为语义Web的核心,本体及其相关研究也得到了很大的进步。同时,作为一种清晰表达语义和知识共享的方式,本体在生物医学信息学、电子商务等方面也
在很多实际应用中,比如网络入侵、医疗诊断以及故障检测等,分类处理的对象大多是不平衡数据(集),即某些类别的样本数量明显少于其它类别的数据集,通常这些数据集中的少数类包
随着信息技术、互联网技术的迅速发展,人们可以方便的进行数字信息的交换和传输。这虽然让人们的生活和工作更加便利,工作效率提高,但是带来了数字媒体的盗版。一些人为了谋
随着无人机技术及通信能力的不断提高,无人机在军事行动、紧急搜索以及灾难救助等多种场景得到广泛应用。由多架装有传感器和武器的无人机组成的蜂群状分布式网络,这种传感器群
后基因组时代生命科学中最重大的研究课题之一是蛋白质组研究,对蛋白质空间结构预测研究在整个蛋白质组计划中占有着极其重要的地位。蛋白质预测结构研究内容包括:序列预处理、
现实世界中存在大量的复杂系统,这些复杂系统通常被抽象的描述为复杂网络,如生物网、神经网络、因特网、万维网和社会网络等,复杂网络通常具有社团结构特性。研究复杂网络的
无线传感器网络作为目前研究热点,融合了嵌入式、无线通信以及分布式等技术。它具有广泛的应用前景,在医疗监测、城市管理、智能战场、农业监测、抢险等领域具有极大的应用价值