水质数据融合平台的研究与设计

来源 :浙江理工大学 | 被引量 : 1次 | 上传用户:zhangShunsheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着水环境污染日益严重,各级政府建立了许多水质监测系统,但各平台数据相互独立,存在数据孤岛现象,不利于数据的综合分析与利用。针对这种现状,运用数据挖掘技术、大数据技术、云计算技术、数据库技术等先进技术设计了一个水质数据融合平台,对复杂多源的水质数据进行融合管理,实现水环境大数据的智能学习、统计分析和预测;帮助水环境部门进行高效准确的水质预测,为制定有效、合理的水环境治理防护措施提供有力的支撑。本文的主要研究内容包括以下几个方面:(1)以水环境数据的采集、加工整合、数据存储、数据挖掘与分析、数据可视化过程为主线,设计与实现了一个水质数据融合平台,平台具有水环境专题、多维分析、污染源档案、报表中心、数据管理、数据分析等一系列功能。介绍了平台的数据采集方式和数据存储方式,在后期数据递增到一定量的时候,将历史数据迁移到Hadoop中去,利用ETL(Extraction Transformation Load,ETL)工具kettle对数据进行加工整合。针对水环境监测数据设计了一个新的水质多因子预测模型,为水环境管理决策提供有效的数据支持。以贵州省贵阳市某地表水监测站点为例,通过水质数据融合平台进行数据采集整合,并利用设计的水质预测模型对地表水水质因子进行预测。同时,对水质数据融合平台的设计,包括需求分析、接口设计、数据库设计等进行详细介绍。(2)设计了一个基于LSTM(Long Short-Term Memory neural network,LSTM)神经网络的水质多因子预测模型。以水质污染因子监测数据为例建立预测模型,利用最大值最小值归一化方法对监测站点水质数据进行预处理,简化了数据的波动和复杂性,然后利用K-Similarity降噪法计算高维空间中向量的余弦相似度来去除噪声,最后利用长短期记忆(LSTM)神经网络进行预测,并且通过Adam算法来进行优化,更新模型的权重参数,减少损失,同时将预测结果与BP(Back Propagation,BP)神经网络、RNN(Recurrent Neural Network,RNN)和传统的LSTM神经网络模型进行对比,新模型的预测更加准确。(3)系统实现和功能测试。功能模块代码实现,并部署到符合要求的测试环境中,通过编写的测试用例进行严格的测试和分析,使功能、性能等各方面逐步满足用户的需求。水质数据融合平台提高了水质数据交换与整合的效率与质量,实现了水环境数据跨部门、跨区域的数据共享,同时实现了水质大数据分析与预测,对环保行业具有重要的意义。
其他文献
基本公共服务均等化是政府的重要施政目标,也为学术界视为理所当然的发展方向。然而,目前对"基本公共服务"以及"均等化"这两个概念的使用存在问题,致使相关文件对基本公共服
2016年5月30日,全国科技创新大会、中国科学院第十八次院士大会和中国工程院第十三次院士大会、中国科学技术协会第九次全国代表大会在北京人民大会堂隆重召开。中共中央总书
五彩毛线变变变  高剑琴 夏露萍
该文采用同济大学汽车学院的"汽车技术文献翻译语料库"中某一知名品牌汽车操作手册作为语料,通过对其中句法介词短语的机器翻译与人工翻译进行对比,对误译进行详细的描述并归类
对小(二)型水库除险加固中坝体、坝基及两岸坝肩存在的渗漏问题进行分析,并进行渗漏方案处理措施对比,根据坝体自身情况选择坝体充填灌浆结合坝基帷幕灌浆方案进行渗漏治理,