基于Hadoop的农业网络舆情监测系统研究与实现——以农产品安全为例

来源 :中国农业科学院 | 被引量 : 0次 | 上传用户:yuzhangbin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随互联网技术的发展,国内网民数量激增,互联网已经成为最大的新兴媒体及舆论阵地。互联网技术的发展给民众带来各种言论自由,涉农舆情已经深入日常生活和政府公共管理领域,社会影响日益增加。农业关乎民生,网络传递民意。正确引导涉农舆论导向,防止负面舆论扩散,迫切要求提高农业网络舆情监测能力。本文旨在开发一种多功能、全面、有效、快速的涉农网络舆情监测服务平台,追踪热点话题,监测敏感信息,及时防范负面情绪,正确引导涉农网络舆情,为政府相关部门和各行各业提供全面有效的互联网舆情数据服务的综合性平台。  本文首先阐述了网络舆情监测的相关背景和研究现状,分析舆情监测系统的关键技术和需求,并对舆情监测系统进行总体设计和详细设计,对系统按功能模块划分并实现。然后,在分析现有网络舆情监测系统和互联网新技术基础上,集成搜索引擎Nutch和搜索应用服务器Solr从互联网采集农产品安全相关信息作为数据源,提出热点话题发现算法、话题追踪和涉农网络舆情预警工作流程;改进农业相关的热点话题发现算法,提高了话题发现的准确率和效率。基于云环境将系统部署在Hadoop分布式平台下,利用Hadoop分布式海量数据处理性能,解决涉农网络舆情监测系统的存储空间低扩展性和计算效率等问题,为政府和企业等领域工作者和决策者提供理论支撑和决策依据。  最后,详细介绍了系统模块:信息采集模块、舆情处理模块、舆情分析模块和舆情管理模块。重点阐述了舆情分析模块的功能和具体实现过程。经测试和实际应用表明该系统能够实时采集和更新农产品安全相关信息,及时发现新话题和判断热点话题,及时发出预警通知。为从事舆情工作者在海量数据中发现新话题和及时发出预警提供有效的解决方案,对积极正确引导网络舆论,倾听民意,及时掌握民众的思想动态,提前做出应对决策具有重要意义。实施证明,该系统运行正常且能有效监测,达到了设计目标。
其他文献
随着旅游业的蓬勃发展和城市旅游业竞争的日趋激烈,城市旅游项目形象成为城市规划建设的重要内容之一。实施城市旅游形象战略,对城市进行旅游形象定位和形象设计的研究具有现实
人类虽然创造了高度发达的物质文明文化,但却耗尽大量自然资源和生态能源,造成了不可逆转的资源浪费和财产流失。为了迎合现有的经济发展需求和环境生态危机,闭环供应链管理在实现可持续发展的宏伟蓝图中显得日益紧迫。本文从心理博弈的视角出发,赋予闭环供应链各节点企业以非理性特征的社会偏好,这种非理性特征触发决策者考虑利他、互惠等行为倾向。突破以往基于结果引导的公平偏好,刻画行为者基于意图引导的互惠偏好,即惩恶
在现代社会中,国家安全、经济繁荣以及民众的福利,都严重的依赖于一套主要由国家电网、电信、以及石油与天然气等系统所构成的‘关键基础设施’;然而不幸的是,关键基础设施被普遍
随着城市工业化和城镇化进程加快,不断出现各种“城市问题”,社会各界开始关注城市综合承载力。城市综合承载力是城市市区法定边界内一定时期下城市系统各自然要素和人类长期
过去的三十年,我国经历着由计划经济体制向社会主义市场经济体制过渡的过程。在体制变革过程中,必然引发一系列的摩擦和矛盾。在体育方面,这种矛盾体现为“举国体制”与体育产业
政府对公众的电子政务(简称G2C电子政务)的建设是健全政府职责体系、完善公共服务体系、改善政府工作效率、改进政府管理服务方式、推进政务公开、提升政府服务水平的重要手
社会热点本身具备一定的时效性,来源于生活.2020年的新冠肺炎疫情在新年伊始成为热点事件,并在各大平台占据主要位置.自疫情发生之后,各地政府采取了积极、迅速的应对举措,这
随着社会经济和科学技术的不断进步,图书馆通过建设特色数据库提升服务质量,彰显本馆特色,增强可持续发展的能力和社会竞争力。特色数据库建设可以为高校、研究所等研究机构
资产证券化是将原始资产转化为可在金融市场上销售和流通的证券过程。它源于20世纪70年代的美国,是上世纪末最重大的金融工具创新,也是当前国际资本市场广泛采用的融资方式之一