基于Neo4j和Spark的农产品溯源数据分析平台构建

来源 :塔里木大学 | 被引量 : 0次 | 上传用户:chengjiangjie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为保障人民群众餐桌上的安全,各级政府与相关企业建立了一系列农产品溯源系统,实现了农产品从田间到餐桌全链路可追溯。但是,多数农产品溯源系统仍基于关系型数据库开发,不能很好描述关联性数据中实体之间的关系,更无法有效挖掘出溯源数据背后所蕴藏的价值。为解决大规模关联性数据的存储与分析场景应用问题,图数据库与分布式图数据分析技术孕育而生,其可将关联性数据存储为由节点和边组成的图模型,并可在图模型之上运行各类图算法,进行数据挖掘。农产品溯源数据主要以企业与农产品两两之间的关系组成,符合大规模关联性数据的特征。基于此,本文将图数据相关技术与农产品溯源数据相融合,使用图数据库Neo4j与分布式计算系统Spark设计并实现了农产品溯源数据分析平台,以便提取出隐藏在溯源数据中的有价值信息,进一步保障农产品安全。论文首先对相关技术与算法进行了综述研究,介绍了图数据库、图计算系统与前后端研发相关技术选型;研究了主流图算法的运行原理、执行流程以及在对农产品溯源数据分析时所起到的作用。接着对平台的功能需求进行了详细分析,并以微服务思想为设计理念,根据需求分析的结果将平台的功能进行模块化划分与总体架构进行设计,使用UML图、架构图、功能执行图与时序图描述了对平台的具体功能设计,同时依据NGDS与Cypher设计图数据单机分析算法、依据Graph Frames库设计图数据分布式计算函数。随后根据设计方案,引入Spark、Neo4j与HDFS作为数据分析与存储的核心组件、引入Nacos、Sentinel作为服务发现与流量监控的基础组件;使用Java框架Spring Boot开发溯源数据管理与单机数据分析接口;使用Python框架Flask开发分布式数据分析接口;使用Java Script框架Vue.js与Cytoscape.js开发前端页面与图数据可视化功能。最后介绍了平台所实现的具体功能,并对部分功能进行了测试与对比,验证了平台的实用性与可靠性。最终完成的农产品溯源数据分析平台面向拥有溯源数据的企业、政府或相关科研工作者,提供了溯源数据存储、获取、可视化功能,并支持对溯源数据使用各类图算法进行数据分析,用于探究农产品流通过程、查找关键企业与划分企业社团。平台的应用,使得相关机构与人员在农产品发生安全问题时,可以快速做出决策与响应;更可以让企业优化农产品供应链与产业链,提高企业效益,让更多消费者可以购买到既实惠又安全的农产品。
其他文献
随着半导体技术节点微缩到3 nm及以下,晶体管的尺寸难以进一步缩小,导致了成本优势的减小。功能性和功耗成为物联网、可穿戴设备、汽车电子等应用的主要关注点,为满足这些需求,全耗尽绝缘层上硅(Fully Depleted Silicon on Insulator, FDSOI)技术被进一步研发和产品化。对FDSOI技术的特点和生态环境进行了总结。FDSOI利用体偏置平衡功耗与性能,采用应力优化提高迁移
语言是教师开展课堂教学的重要工具。教师在初中生物教学中重视应用语言艺术,不仅能促进师生有效传递情感和信息,也能提高学生对生物知识技能的领悟及掌握效率。本文主要分析新课程理念下初中生物教学实施语言艺术的意义,从生活化、问题式、口诀化、态势类、激励性六种生物教学语言入手论述实施教学语言艺术的具体策略,旨在为广大教师艺术化处理和运用生物教学语言提供可靠的参考依据,从而增强生物教学质效。
为研究高黏改性SMA-13沥青混合料在道路养护中的实际应用效果,以某道路养护项目为例,针对路面病害类型及产生原因进行了分析,并给出了采用高黏改性SMA-13沥青混合料处理路面病害的养护方案。在施工完成后,对路面的平整度、压实度及抗滑性进行了监测分析,发现路面经高黏改性SMA-13沥青混合料修复后,平均平整度均未超过1mm,平均压实度均达到98%以上,平均抗滑值均达到50BPN以上,且路面整体平整,
<正>我国《中华人民共和国民法典》自2021年1月1日正式施行,《最高人民法院关于适用<中华人民共和国民法典>有关担保制度的解释》作为民法典的配套司法解释也于同日施行。《中华人民共和国担保法》与《最高人民法院关于适用<中华人民共和国担保法>若干问题的解释》在同一天废止,原《担保法》及《担保法解释》的规定在《民法典》及《民法典担保制度解释》中予以确认,其余部分则予以调整。
期刊
厚板板形质量对于钢铁企业十分重要,由于厚板在生产过程中经过多个工序加工,涉及众多变量,加工后的厚板板形存在质量波动和异常原因未知的问题。针对这一难题,本文利用厚板生产过程中的工业大数据,提出一种具有根因分析能力的厚板板形质量预测模型。首先针对厚板板形质量预测问题,由于厚板小批量生产、生产过程变量非线性强,本文采用基于核偏最小二乘(KPLS)的方法建立厚板板形质量预测模型。然后针对厚板板形质量异常原
生态资产核算作为两山理论转化的重要桥梁,有利于厘清区域生态本底,为生态补偿等工作提供客观依据。研究选取东南湿润丘陵区溧阳市为研究区域,构建了县域生态资产清单,并根据生态资产价值空间分布进行了分区并提出分区管理策略。基于InVEST模型、市场价值法、替代成本法等评估方法,评估水源涵养、水质净化、生物多样性保护、休闲游憩以及产品供给等重要生态系统服务价值,运用净现值法计算了溧阳市生态资产价值为3 10
现代培养理念不再以金牌战略为唯一目标,而是以人的全面发展为终极目标。并提出,人的发展是第一位的,只有保证了从事足球运动的人的全面、自由、协调发展,以科学发展观为理论指导,用全面、协调、可持续性发展的理念来培养我国的青少年足球人才,改善西安市城市校园足球人才培养体系的布局。本研究是在奥运会以后我国大力开展校园足球活动的时代背景下,借鉴我国部分足球发达地区学校足球的发展模式,结合西安市校园足球发展特点
现如今,伸缩缝技术的重要作用在道路工程施工过程中得到了充分的体现,提高了道路的整体施工质量,为行人以及行驶的车辆提供了安全保障。伴随着我国经济的不断发展,人民的生活水平进一步提高,购买车辆的居民人数大幅度提升,市政道路在使用过程中受到车辆荷载以及环境、气候条件等客观原因的影响,很可能会出现裂缝甚至断裂等问题,一些极端天气的出现极易导致地面出现热胀冷缩的情况,严重危害了路面整体的质量和稳定性。因此,
文章主要探索“双减”政策背景下的小学数学大单元作业设计措施。通过分析“双减”政策背景下小学数学大单元作业设计原则,提出几点设计建议,如转变传统作业设计观念、对大单元作业内容进行优化、采用信息化技术和生活化教学理念提升作业设计水平、设计评价性作业,促进大单元作业的合理设计。教师通过设计大单元作业,能够引导小学生全面、深入地掌握整个单元的数学知识和内容,减轻学生课后作业负担,提升育人的效果。
针对传统双螺杆泵螺杆转子螺旋面啮合区磨损严重、内泄漏大等问题,根据啮合原理,建立椭圆弧及其共轭曲线的啮合模型,构建传动比为2∶3的主从螺杆端面型线,提出一种新型多点啮合型螺杆转子结构.应用计算流体动力学方法对新型双螺杆泵内部流场进行数值计算,研究了泵内部流动特性.研究结果表明:所提出的新型螺杆转子在轴截面上可实现三点啮合,在双螺杆转子上形成多重密封;采用V形凹槽的主螺杆转子齿顶压力分布均匀,采用传