随着网页信息的爆炸性增长,搜索引擎的使用价值也越来越高,成为网络用户必不可少的工具,为用户提供信息导航和查询服务。它整合了互联网上众多的网页资源,根据用户查询的关键词提供相关性网页,并按照相关性排序,是整个互联网的入口。目前,综合搜索引擎是为用户提供查询服务的主力军,但它的综合性,决定了其不能满足专业人群对专门领域的精准化信息需求服务。对信息的需求是多元化的,因此搜索引擎的服务模式也必将出现细分,针对不同领域提供更加精确的行业信息,这就促进了垂直搜索的蓬勃发展。本课题研究如何建立一个完整的提供精准信息供用户查询的垂直搜索引擎,选取以论坛为主,包含博客和热点新闻网站在内的URL集合作为数据目标,搭建了一个供用户浏览热点话题,搜索热点讨论信息的平台,配合综合搜索引擎,在垂直方向上满足用户查询需求的搜索引擎。在研究的过程中,主要工作和创新点如下：1.提出一种高精确度信息采集方法；2.提出一种分布式网络爬虫架构及交互协议；3.提出一种基于爬取周期的分布式分发策略；4.设计基于Lucene的索引端和检索端并实现按域检索和索引的批量更新。该垂直搜索引擎由网络爬虫、索引与检索三个模块组成,其中。分布式垂直爬虫模块的设计和实现是本课题研究的重点,也是实现精准信息采集区别于传统搜索引擎的关键所在。垂直爬虫依托于垂直搜索引擎的概念而提出,是指能深入地爬取与分析网络信息,相对于通用爬虫在广度上追求全面地信息获取,垂直爬虫致力于以最少的爬虫服务资源爬取某个领域内最有价值的web资源,并最大化得过滤无用信息,直接获得十分精准的信息。