互联网自诞生以来得到了迅猛的发展,Web信息更是呈现出指数形式地增长。传统的单机多线程主题爬虫已经不适合用来完成海量信息的抓取工作。正是在这样的背景下,云计算的出现为解决大数据问题提供了一个良好的解决方案,其中Apache旗下的顶级项目Hadoop分布式平台获得了业界的广泛关注。本文在分析研究主题爬虫框架的基础上,着重介绍并分析了主题爬虫的主题模块、相关度判别模块、页面下载模块等关键模块。接着,对主题特征选择问题进行了实验,目的在于构建一个能够表征主题的特征向量。在主题爬虫爬行策略部分,在分析了基于内容与链接的爬行策略各自不足之处之后,提出了一个基于Shark-Search算法与PageRank算法的组合算法。本文的最后,先分析了开源爬虫Nutch的架构及工作流程,然后在Nutch相关模块上加入主题判别模块,对相关的模块进行了测试,最后设计并实现了一个面向IT领域的分布式主题爬虫。实验结果表明本文提出的主题爬虫组合算法是有效的,设计方案具有一定的可行性。