基于ELM的爬虫检测算法研究及在水保网站上的应用

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qichen1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,水土流失已经变成我国最紧要的环境问题,制约着人口、资源、环境和经济的共同发展。为了防止水土流失和恢复生态环境,全国各地先后开展了水土保持工作,并逐步建立起了各个水土保持信息共享网站。  随着互联网搜索引擎技术的突飞猛进,搜索引擎的网络爬虫日渐泛滥。这些网络爬虫给网站服务器带来了巨大的处理负担,很多水保网站因此陷入瘫痪,给水土保持工作带来了巨大的压力。为了维护湖北水土保持网站的稳定,本文运用机器学习的思想,设计了能够根据访问者特征来检测爬虫的算法,并应用到湖北水土保持网站上抵御爬虫。本文主要研究内容如下:  (1)论文分析了目前国内外检测网络爬虫的算法现状。深入研究了网络爬虫的工作原理和单隐层前馈式神经网络算法-极限学习机ELM,提出了基于ELM的爬虫检测算法。  (2)论文在仔细研究湖北水土保持网站后,根据网站特点建立能够充分描述水土保持网站访问者特征的特征模型。  (3)设计实现了基于极限学习机算法的网络爬虫拦截器,将其应用到湖北水土保持网站中。通过使用网络爬虫访问网站来测试实际检测效果,结果表明基于ELM的爬虫检测算法具有良好的爬虫检测性能,包括较高的检测精度与较短的爬虫检测周期。最后分析了这种算法的适用性与局限性。
其他文献
高纬度地区的输水渠道在冬季输水过程中,会形成冰塞、冰坝等冰情现象。这将显著的减小输水流量、抬高水位,而冰塞体的溃决会造成下游更严重的灾害。下潜至冰盖底面的冰凌称为潜
区域地下水开采量是地下水资源管理部门制定当地地下水资源合理开发利用与保护规划的基础和依据,而现有的确定区域地下水开采量的方法主要采用收集资料统计法和调查统计法。由
泄水建筑物是引水式电站的重要组成部分,电站的安全运行与之密切相关。泄水陡坡是常见的水电站泄水建筑物,在设计过程中,将工程布置与周围的环境互相结合,充分利用地理条件,
在农业生产中,水分和肥料是影响作物生长发育的两个重要的环境因子。冬小麦生长和发育所需的绝大部分水分和营养来源于根系的吸收。根系在小麦的生长发育、物质代谢和生理功