论文部分内容阅读
膜生物反应器(MBR)是将膜分离技术与生物反应器技术相结合的一种污水处理工艺,在污水处理方面具有很大的优势和巨大的发展空间。实验研究表明膜污染严重阻碍MBR的发展,膜污染导致的直接现象是膜通量的减小。为了更好的监测膜污染的情况,从膜通量入手,通过对MBR膜污染机理的分析和研究,确定MBR膜通量的主要影响因素,并利用实验和实际的MBR工艺获得影响MBR膜通量因素的真实数据。为了解决MBR膜污染数据的存储和分析问题,引入当今的主流大数据云计算平台Hadoop。Hadoop是一个可靠的、高容错的、可扩展的分布式计算平台,其核心包括分布式文件系统HDFS和计算框架MapRedu。基于Hadoop的优势,结合数据仓库Hive,将数据存储在HDFS上,构建分布式大规模MBR膜污染存储和分析平台,实现对数据的管理。由于Hive是基于Hadoop的MapReduce计算框架的,具有很高的延时性,因此采用Impala做实时查询和分析。但是Impala并不支持所有Hive所支持的功能,并且依赖Hive,最终采用两者结合的方式,使用Impala做实时分析,Hive进行批处理作业。鉴于Hive的高延时性,为了获得更好的用户体验,通过TCP/IP通信和Java多线程技术获取Linux的标准输出和错误输出,实现对Hive查询和分析进度的监控。利用Hadoop平台实现了MBR数据的管理,另外为了实现对膜通量的仿真预测,引入最小二乘支持向量机(LSSVM),针对LSSVM参数人为选择的盲目性,采用粒子群算法(PSO)对其参数进行优化。为了更好的实现对膜通量的预测,首先对MBR膜污染数据进行主成分分析,提炼出重要的因子,然后作为LSSVM的输入层数据,接着建立模型,并进行模型训练和仿真预测,最后为了进一步比较该模型的有效性,将其与BP神经网络预测模型进行对比,对比表明LSSVM具有更高的精度。