论文部分内容阅读
农贸市场留给民众的印象基本上可以概括为“脏”、“乱”、“差”。最近几年,有一些发展较快的城市提出了“农贸市场改造升级”、“农贸市场超市化”等方案但是由于成本太高而无法在全国普遍推广,而且这种转变方式也仅仅是在硬件方面。其实,随着互联网技术的发展,可以将大数据技术、商业智能技术,物联网技术等应用到农贸市场的改造上。比如利用基于物联网技术的电子货架标签系统(Electric Shelf Label System, ESLs) ,可以将农贸市场内的商品价格统一管理,可以大大降低甚至避免民众遭遇价格欺诈。这样做还可以将价格数据、民众的购买行为等数据通过互联网上传到统一的数据服务器上,利用商业智能技术对数据进行分析。本课题设计了一个农贸市场大数据商业智能系统原型,系统分为数据来源层,数据的抽取(Extract),转换(Transform)和加载(Load) (Extract-Transform-Load, ETL)层,大数据存储层,数据分析层和结果展现层五个层次。数据来源层分为两部分,一部分采用佛山市广华合志科技有限公司研发的ESLs来实现商品价格的管理;另一部分是农贸市场的管理系统,从管理系统中收集销售数据。数据ETL层使用Pentaho Kettle引擎来实现,定义了一个完整的ETL作业可以从数据来源层抽取数据。大数据存储层使用MySQL Cluster数据库集群技术来实现,本课题实现了一个四个数据节点、两个SQL节点和两个Manager节点的数据库集群的原型。数据分析层由三部分组成,第一部分通过使用开源的关系型联机分析处理(Relational On-Line Analytical Processing, ROLAP)引擎Mondrian来完成联机分析处理On-Line Analytical Processing, OLAP)的功能;第二部分使用JasperReports报表引擎来实现报表功能,第三部分使用R语言来实现商品关联分析的算法,还可以在R环境中根据需要来实现其他的分析。结果展现层,通过HTML页面、报表、图表三种方式来对最终的结果进行展现。本课题首先介绍了当前我国农贸市场所面临的问题以及国内外农贸市场的现状。第二部分介绍了大数据、商业智能等相关概念和电子货架标签系统。第三部分介绍了数据库设计和大数据存储与分析的方案,第四部分说明大数据商业智能系统原型的设计方案并演示了系统的部分功能。根据测试,本系统原型可以比较稳定的运行,能够满足处理较大规模数据的存储与分析需求,可以在本课题的基础上继续扩展商业智能功能。通过应用本系统将会带来较大的社会效益和经济效益。从社会效益分析,保障了食品安全,改善了购物体验等。从经济效益分析,掌握了大量数据,节约了运营成本,降低了管理难度等,减少了自然损耗。