随着互联网的飞速发展,网络上的信息数量激增。面对着数量庞大、纷繁复杂的互联网信息,用户如何可以快速、准确并且全面地查找到自己所需要的信息已经成为一个非常重要的问题。传统的通用搜索引擎面对这一问题已经越来越力不从心,因为一味追求高覆盖率而造成了资源浪费,并且返回给用户的查询结果中经常包含用户不关心的网页。针对这些问题,垂直搜索引擎应运而生,它只收集与用户关心的主题相关的网页。主题爬虫是垂直搜索引擎的重要组成部分,它负责分析网页是否与主题相关和具体的抓取过程。　　 主题爬虫有两个重要问题:如何判断一个待爬取网页是否与主题相关以及如何调度URL。针对这两个问题,本文在国内外相关研究的基础上,分别提出了一种解决方案:　　 传统的基于内容评价的URL分析模型虽然准确率较高,但是效率较低,而且可能给予质量不高的网页较高的得分,而基于链接评价的URL分析模型却完全忽略了网页内容,容易造成“主题漂移”问题。本文将两者有机地结合在一起,并引入用户查询来修正主题描述,设计了一种内容评价与链接评价相结合的URL分析模型,通过实验证明了该模型在准确率等性能上的提高。　　 现有的爬虫URL调度技术都存在着一定的问题,如易形成控制节点瓶颈、URL分配不均衡等。本文针对这些问题设计了一种面向多节点并行爬取的URL调度方案。该方案采用扩展bloom filter模型进行URL去重,采用一致性哈希进行URL分配,采用UDT协议进行URL批量传输。最后将这种方案应用于主题爬虫中,通过实验证明了该方案负载比较均衡,并且可以有效过滤重复的URL。