【摘 要】
:
随着Internet在全球范围内的高速发展,互联网已经成为人们获取信息的重要途径和反映社会舆情的主要载体之一。由于互联网的开放性和虚拟性,使得网络舆情比传统舆情的波及范围
论文部分内容阅读
随着Internet在全球范围内的高速发展,互联网已经成为人们获取信息的重要途径和反映社会舆情的主要载体之一。由于互联网的开放性和虚拟性,使得网络舆情比传统舆情的波及范围更广,传播速度更快,突发性更强。因此对于互联网舆情进行有效的监督和控制是非常必要的。本文研究了互联网舆情监控系统中聚焦爬虫的已有研究成果,研究了搜索选择策略、网页分析评价、主题孤岛避免等聚焦爬虫的关键技术,针对互联网舆情监控设计并实现了聚焦爬虫。论文完成的主要工作如下:(1)分析并总结了互联网舆情监控系统的特点及难点,指出聚焦爬虫在系统中的地位作用及实现目标。(2)分析了聚焦爬虫的主要功能及设计特点,针对互联网舆情系统进行了聚焦爬虫的设计,设计并实现了聚焦爬虫的主体框架、爬虫规则模块、爬虫控制模块和用户配置模块等。(3)给出了聚焦爬虫的具体实现,包括对网页的抓取及解析、爬行策略、网页去重、多爬虫调度等,实现了对I-Match网页去重算法,完成了对一致性Hash调度算法的改进,并对算法进行了实验分析。对系统进行了测试。本文实现的聚焦爬虫不仅能够满足质检总局相关人员的日常工作需要,而且在性能、准确率及全面率方面上都优于通用爬虫。本系统可为快速应对网络突发事件提供支持与帮助。
其他文献
目的分析体外浓缩自体腹水回输治疗肝硬化顽固性腹水的临床疗效。方法将我院收治的60例肝硬化合并顽固性腹水患者纳入本次实验,入选病例均来自2015年1月至2017年7月,按照随机
对山梨酸钾和尼泊金丁酯两种防腐剂在食醋中单一及复合使用的抑菌效果进行了研究.通过实验发现,在不同酸度食醋中抑菌效果优劣依次为山梨酸钾/尼泊金丁酯(SN)、尼泊金丁酯、
以作者实际参与的具有代表性的颐和园古建筑夜景照明设计为案例,通过实例研究和实验室灯具模拟实验,从最终的实际效果来检验其设计的成败,为其他一般性古建筑夜景照明设计提
为了解决现在高楼层抄表员抄表难度大的问题,设计了一种基于MSP430的低功耗燃气抄表系统.该设计具有无线唤醒、中继传输等功能,通过MSP430记录数据,并经过CC1101实现无线传输
一、织物标准的现状1.织物标准的总体格局(1)、织物标准的一般分类①、按用途分类:可分为:服装用纺织品;装饰用纺织品;产业用纺织品。
本文介绍了无锡地铁一号线开通的大型电视直播技术方案,着重介绍了该方案的三个主要组成部分:信号传送方案、分演播室和转播车的信号制作方案、通话保障方案。
如何采用技术手段,建立一套科学的绩效考评指标体系,解决干部管理和考评中的难题,是当前机关干部管理工作中急待解决的问题。本文以人民银行海口中心支行机关正在运行的“行
<正> 我院青年作曲家王建民创作的古筝独奏曲《幻想曲》于1991年10月在扬州召开的“全国古筝艺术第二次学术交流会”上首次演出,受到代表们的好评。古筝由于乐器的局限,一般
物联网被誉为继计算机、互联网之后世界信息产业的第三次热潮。物联网具备巨大的产业价值。目前,物联网在我国有一定的应用,如公交卡、机场安全等,但仅限于局部的应用,应用规
故宫是华夏中国具有图腾意义的瑰宝,故宫有近600年的历史,故宫博物院与故宫学研究也有近100年的历史,虽然“故宫学”正式提出只有14年时间,但却是已经进入快速发展时期。把握