随着互联网的迅猛发展,海量的互联网信息以井喷的形式爆发出来。在这些互联网信息中蕴含着非常丰富的商业机会和人类智慧。网络搜索应用而生,并迅速成为计算机科学一个研究热点,如何尽可能搜索到满足需要的信息一直是软件开发人员的追求目标,以大型搜索引擎公司为主导的广泛搜索已经发展的非常成熟。并能够提供各种围绕数据搜索的服务。与此同时,各种基于互联网信息挖去的实际工程研究也逐步展开。但是面向无差别搜索的搜索引擎提供的数据往往是还有许多与研究需求无关的数据,特别是充斥了各种广告和不相关链接的网页使得最后的搜索结果和使用者的预判大相径庭。本文就此最基于不同主题需求的搜索程序在不用应用实践中的具体使用给出一个工程化可操作的实现。本文首先借用当前成熟的文本分析技术,对网站的内容做价值分析,并对给出的连接给出打分,考虑到工程化的原因文章只对高价值的链接的网站做二次挖掘和内容爬取,使得网络链接中存在着主题内容高度聚集进行成主题云团,而在工程上又可以实现。其次,考虑到主题团和主题云团之间链接薄弱的“隧道现象”容易形成所谓的“暗网络”现象。本文利用广度优先算法和动态文本关联度阀值的方法,借鉴现在互联网上成熟的Nutch爬虫技术和ICTCLAS中文文本分析技术,通过对网页数据存储、URL消重性能的优化,实现了一个基于广度优先的主题爬虫。虽然在实际的使用过程中爬虫需要依靠爬虫管理员数据修正和数据训练,完成特定主题内容的爬取工作。但从实际结果来看相对单纯的人员爬取数据,效率高整体质量也相当不错。