随着互联网的飞速发展,网络上的数据呈指数增长。用户获取信息的一个重要途径就是通过搜索引擎,搜索引擎通过抓取全网数据来为用户提供搜索。中小型的数据抓取需求使用单机爬虫即可满足,然而在遇到大型的数据抓取需求时,为了提高整体网络爬虫系统的性能,需要借助分布式技术,通过有效的分工和多台机器之间的协作来提高抓取效率。现有的分布式网络爬虫框架在扩展性和可用性上不够完善,本文提出的面向分布式的通用网络爬虫系统采用当前较为成熟的分布式技术,使得爬虫系统在数据抓取的各方面都有优异的表现。本文的主要工作如下:1)给出了一种基于历史数据的时效性种子页面调度算法。调度模块是网络爬虫系统的核心模块,调度算法的质量直接影响到整个系统的成本和效率。针对种子页面调度不灵活的问题,提出了基于历史数据的时效性调度算法。同时,利用回归预测算法计算模型后,应用在调度模块中,使得算法在成本、命中率、延时上都获得了比较好的效果。2)给出了一种URL归一化去重的挖掘算法。URL去重是影响网络爬虫性能的另一重要因素,去重可以为系统节约大量的存储空间,并且提高后续使用数据时的检索效率。本文通过对去重模块提出挖掘规则来改善URL归一化的效果,减少页面的重复率。同时,对镜像站和无效参数方面的挖掘进行实现,达到了极高的准确率和良好的召回率。3)在上述工作的基础上,设计并实现了分布式通用网络爬虫系统,并确定了分布式系统的物理架构、逻辑架构和数据格式信息。首先,采用Kubernetes来对模块进行管理,用Kafka和Thrift作为模块间的管道,借助日志系统和时序数据库对系统进行可用性监控;然后,对各个模块做了详细的设计,并且应用了调度算法和去重的技术来改造部分模块;最后,经过性能测试后,本文分析了该系统的优缺点,对该系统的实验结果进行了评估。