随着互联网数据的日益增长,网络数据采集的需求和技术也不断的更新,如何只采集指定主题的网络数据并且保证爬取数据的效率成为了人们关注的热点,所以本文主要研究的是主题爬虫系统。本文采用目前比较流行的python语言实现爬虫框架Scrapy,并基于Scrapy框架编写了自己的爬虫系统,分别构造和测试了 k-近邻分类器和朴素贝叶斯分类器,通过分类器的主题相关度的判断构造了自己的主题爬虫系统。实验过程中主要爬取了网易新闻中主题为汽车行业和科技行业的数据。在实验过程中本文首先做了有关主题爬虫的关键技术的调研,后续研究了HTML文档结构解析、文本向量表示模型、特征选择算法和结巴文本分词工具等技术。然后利用网页的标题、正文创建其所对应的向量。文章中间部分讲述了k-近邻算法和朴素贝叶斯的原理,创建了 k-近邻分类器和朴素贝叶斯分类器,利用k-近邻算法和朴素贝叶斯算法对网页文本内容进行分类,并对分类器进行了测试。通过大量的数据测试后对朴素贝叶斯分类器进行了优化,实现了把与主题相关的网页内容存入数据库中,放弃与主题不相关的网页。最后比较了爬取文本数量不同时分类器的准确率和随着时间增长系统爬取效率的变化。通过对实验数据的分析和总结,本文的主题爬虫系统爬虫对汽车行业的结果的准确率可以达到75%的水平,爬取效率方面朴素贝叶斯分类器的爬取效率略高一些。