传统的通用搜索引擎不能满足人们对搜索引擎越来越个性化的需求，提供某个专门领域搜索服务的垂直搜索引擎应运而生。垂直搜索引擎需要专门的聚焦网络爬虫按照其特定的要求从网络中抓取数据，同时还要求聚焦网络爬虫抓取范围的选择更精确、发现新页面更及时。　　 本文在现有聚焦网络爬虫的理论基础上，根据新的应用趋势，结合实际需求实现了一个分布式的聚焦网络爬虫系统。该系统具有高性能易扩展的分布式架构、友好的Web配置界面并实现了快速发现新页面的机制、精准提取页面字段的功能。　　 该系统改进了传统的分布式聚焦网络爬虫的系统框架，将原有的文档服务器和抓取服务器合二而一，同时绕开管理服务器直接使用抓取服务器来进行URL除重。管理服务器负责系统的管理、抓取任务的分配并提供简单易用的Web配置界面，这使得普通用户也能使用该系统将网络上分散的信息聚合成格式化的数据。抓取服务器负责具体的页面抓取和处理，实现了动态扩展的URL除重机制，并能对页面字段进行精准地抽取，这使得该系统能够为垂直搜索引擎提供海量格式化的数据以提高其搜索体验。