随着WEB技术的发展和应用方式的多样化,越来越多的人们开始依靠网络学习、工作和生活。Web2.0的到来,万维网成为大量信息的载体,这使得互联网中运行的爬虫日益增加。这些爬虫占用网站资源,对网站造成很大的危害。发现和防范网络爬虫,建立反爬取机制是规避爬虫对网站所带来的危害的应有做法。反爬取机制在保障网站的正常安全的提供访问服务,保护网站内容以及用户隐私信息,以及在做基于用户访问数据的数据挖掘都是有着重要的意义。本文在阐述了爬虫原理和研究分析了现有的反爬取机制后,针对爬虫的访问特征,设计了一个实时的反爬取机制,采用服务化架构(RPC)的方式,将反爬取检测和原有Web服务器分开。充分利用原有Web服务器和反爬取服务器的环境优势,减少反爬取机制对原WEB服务器的影响。在识别爬虫时提高Web请求检测的维度,增加校验逻辑的复杂程度,以此方式来提高爬虫识别的准确率。实验表明,本机制在反爬取领域和爬虫识别领域中具有较好的效果,相对于其他的反爬取机制在实时性、准确率、覆盖率、综合评价指标上均有较为明显的优势。