在互联网快速发展的背景下，搜索引擎在人们生活工作中有着举足轻重的作用，而网络爬虫是搜索引擎中的信息采集器，是搜索引擎技术的最基础部分。特别是在今天这个大数据的时代，通过网络爬虫在互联网上搜集到有价值的数据，再进行数据整理，是一个快速得到有效信息的重要手段。本文是基于广度优先算法在Linux平台下研究并实现的多线程网络爬虫程序。爬虫系统从指定的初始URL开始抓取网页，进行网页解析，获取包含在网页中未被爬取的URL，再对这些URL逐条地进行爬行，尽可能多的获取互联网海量数据。针对网络爬虫系统中涉及的相关技术，本文详细分析与研究了网页抓取算法、网页去重算法，并提出半同步/半异步并发模型在系统中的应用，有效的利用网络资源，提高CPU利用率。此外，为了增加爬虫系统的并发度，采用基于Libevent开源事件驱动框架库的线程池设计。最终，通过模块化程序设计思想将爬虫系统分为请求连接模块、数据分析模块、URL管理模块、URL调度模块等，本文对其进行一一设计与实现，程序在GCC编译环境下调试通过。最后，文章对爬虫系统进行了性能测试，从多线程数以及最大连接数两个方面，对影响爬虫系统抓取速度的因素做出分析，找到对网络爬虫系统性能产生较大影响的原因。