论文部分内容阅读
伴随互联网技术的发展,国内网民数量激增,互联网已经成为最大的新兴媒体及舆论阵地。互联网技术的发展给民众带来各种言论自由,涉农舆情已经深入日常生活和政府公共管理领域,社会影响日益增加。农业关乎民生,网络传递民意。正确引导涉农舆论导向,防止负面舆论扩散,迫切要求提高农业网络舆情监测能力。本文旨在开发一种多功能、全面、有效、快速的涉农网络舆情监测服务平台,追踪热点话题,监测敏感信息,及时防范负面情绪,正确引导涉农网络舆情,为政府相关部门和各行各业提供全面有效的互联网舆情数据服务的综合性平台。 本文首先阐述了网络舆情监测的相关背景和研究现状,分析舆情监测系统的关键技术和需求,并对舆情监测系统进行总体设计和详细设计,对系统按功能模块划分并实现。然后,在分析现有网络舆情监测系统和互联网新技术基础上,集成搜索引擎Nutch和搜索应用服务器Solr从互联网采集农产品安全相关信息作为数据源,提出热点话题发现算法、话题追踪和涉农网络舆情预警工作流程;改进农业相关的热点话题发现算法,提高了话题发现的准确率和效率。基于云环境将系统部署在Hadoop分布式平台下,利用Hadoop分布式海量数据处理性能,解决涉农网络舆情监测系统的存储空间低扩展性和计算效率等问题,为政府和企业等领域工作者和决策者提供理论支撑和决策依据。 最后,详细介绍了系统模块:信息采集模块、舆情处理模块、舆情分析模块和舆情管理模块。重点阐述了舆情分析模块的功能和具体实现过程。经测试和实际应用表明该系统能够实时采集和更新农产品安全相关信息,及时发现新话题和判断热点话题,及时发出预警通知。为从事舆情工作者在海量数据中发现新话题和及时发出预警提供有效的解决方案,对积极正确引导网络舆论,倾听民意,及时掌握民众的思想动态,提前做出应对决策具有重要意义。实施证明,该系统运行正常且能有效监测,达到了设计目标。