基于Hadoop的MBR膜污染数据的分析与仿真预测研究

来源 :天津工业大学 | 被引量 : 3次 | 上传用户:yongzhujushi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
膜生物反应器(MBR)是将膜分离技术与生物反应器技术相结合的一种污水处理工艺,在污水处理方面具有很大的优势和巨大的发展空间。实验研究表明膜污染严重阻碍MBR的发展,膜污染导致的直接现象是膜通量的减小。为了更好的监测膜污染的情况,从膜通量入手,通过对MBR膜污染机理的分析和研究,确定MBR膜通量的主要影响因素,并利用实验和实际的MBR工艺获得影响MBR膜通量因素的真实数据。为了解决MBR膜污染数据的存储和分析问题,引入当今的主流大数据云计算平台Hadoop。Hadoop是一个可靠的、高容错的、可扩展的分布式计算平台,其核心包括分布式文件系统HDFS和计算框架MapRedu。基于Hadoop的优势,结合数据仓库Hive,将数据存储在HDFS上,构建分布式大规模MBR膜污染存储和分析平台,实现对数据的管理。由于Hive是基于Hadoop的MapReduce计算框架的,具有很高的延时性,因此采用Impala做实时查询和分析。但是Impala并不支持所有Hive所支持的功能,并且依赖Hive,最终采用两者结合的方式,使用Impala做实时分析,Hive进行批处理作业。鉴于Hive的高延时性,为了获得更好的用户体验,通过TCP/IP通信和Java多线程技术获取Linux的标准输出和错误输出,实现对Hive查询和分析进度的监控。利用Hadoop平台实现了MBR数据的管理,另外为了实现对膜通量的仿真预测,引入最小二乘支持向量机(LSSVM),针对LSSVM参数人为选择的盲目性,采用粒子群算法(PSO)对其参数进行优化。为了更好的实现对膜通量的预测,首先对MBR膜污染数据进行主成分分析,提炼出重要的因子,然后作为LSSVM的输入层数据,接着建立模型,并进行模型训练和仿真预测,最后为了进一步比较该模型的有效性,将其与BP神经网络预测模型进行对比,对比表明LSSVM具有更高的精度。
其他文献
目的:探讨超声诊断对甲状腺乳头状腺癌(特别是甲状腺微小灶癌)是否行中央区淋巴结清扫的临床指导意义。方法:分析2012-09-2013-12期间在我科(同一术者、同一标准)进行甲状腺
1985年,电大毕业时,一个年纪比我小十多岁的同学在我的毕业纪念册中留言:有时做狮子,有时做狐狸。$$   我明白她是一片好心,是希望我更加成熟一些,审时度势,做到内方外圆。$$ 
报纸
运用文献研究方法,通过对国际科学教育研究的综合分析,揭示了国际视野下科学教育的研究进展和发展趋势,包括科学教育的基本定位:跨学科性;科学教育研究概念框架的构建:学术标
目的:探讨二维超声对甲状腺乳头状腺癌的诊断价值。方法:总结60例经手术和/或超声导向穿刺活检并经病理证实的甲状腺乳头状癌的声像图表现。结果:甲状腺乳头状癌特征性声像图