随着信息时代的发展和编程技术的普及,搜索引擎成为了使用互联网的常用工具。搜索引擎大多使用爬虫技术作为核心模块,通过关键词返回用户查询的结果。但是网络信息呈现爆炸式的增长,使得信息的查找和定位也变得困难。为解决上述困境,研究借助Python和Scrapy语言框架基础,以“旅游网站”为爬取目标,通过分析当前现有Web crawler的运行机理、功能单元以及算法程序,试探性的创建一个针对性比较强的网络爬虫,对课题的目标数据进行爬取。在简明给出了爬虫技术的原理和发展现状、介绍爬虫工程中一些关键技术、并着重介绍了在研究中有深刻影响的Cookie和Robot协议之后,论文阐述了以Mongo DB为代表的NOSQL数据库对目标信息数据存储中起到的关键作用,并针对程序开发的流程及关键性的实现细节作出重点介绍。同时,论文还提及了现今爬虫技术开发所涉及的关键性问题,以及具体在本文中采用的实际解决方法。为解决网站的限制困境,重点介绍通过更换Cookie和user-agent伪装来解决上述问题。而原始资源符地址去重和多线程并发的问题,则采用并分析Scrapy自带的解决方案。最后对爬虫进行测试并可视化的进行成果展示,并于对已经作出的研究成果所存在的问题和改进的可能进行论述。