网络爬虫的诞生,满足了人们快速获取指定网络信息的需求。但是传统网络爬虫需要针对不同网站定制爬虫,而开发爬虫程序具有流程多、成本高、难度大、自动化程度低等弊端,同时开发和维护网络爬虫的效率与网站新增和更变速度的悬殊差距,又增加了开发者的负担。针对这种矛盾,设计了基于标记模板的分布式网络爬虫系统。系统能够根据携带少量网页信息的爬虫模板自动生成爬虫实例,完成采集任务。系统的目标是在减轻爬虫开发难度和减少开发流程的基础上为网络舆情系统提供大量实时网络数据。系统以Scrapy框架为基础进行修改和扩展以实现分布式,主要工作包括以下几点:定义爬虫模板,系统能够根据模板描述的采集网站、采集元素、爬虫配置等要素,生成爬虫实例,执行采集任务。设计了一个基于标记的半自动化页面元素抽取算法,算法以页面的XPath以及标记信息作为特征,采用聚类策略计算生成抽取规则,实现自动抽取。实现了一个二级去重方案,将经压缩并设置有过期时间的URL缓存到内存作为一级缓存,并以键值对形式将URL持久化到磁盘形成二级去重,在保证不发生内存溢出的基础上实现增量采集的快速去重,增加了系统的稳定性。通过封装页面渲染引擎和封装浏览器内核两种方式支持开发者选择最佳技术采集动态页面。最后,针对采集数据的特点,采用自然语言处理等技术完成对采集数据的清洗任务。基于标记模板的分布式网络爬虫系统,能够实现大量网站的自动采集,减少了开发者开发流程,避免了为单一网站开发爬虫的耗时和难度,免去了页面抽取语法的学习成本,解决了单机爬虫效率低、伸缩性差等问题。从测试结果可知,系统能够实现对包括动态页面的大量网站的高效的增量采集,有效的降低了开发爬虫的难度和要求,在保证数据的准确性的同时提高了采集效率。