随着互联网的快速发展,搜索引擎成为了人们获得各类信息的重要工具,如今的搜索引擎如百度和谷歌,由于其搜索覆盖面积广导致结果难以达到精确,而面向特定领域的主题搜索引擎能够帮助用户过滤大量与主题无关的信息,用户可以快速、准确地获取所需要的信息。为了帮助金融从业人士在众多网页中准确并高效地获取金融相关文本数据,本文针对金融领域,研究快速有效的网络爬虫技术。提出了一种知识图谱辅助提取网页文本中的关键短语的方法,结合一定规则的链接结构和关键短语与主题的语义相似度计算来筛选出与主题相关页面,实现高效的主题网络爬虫。主要研究内容和方法如下:（1）针对主题网络爬虫技术中的主题描述问题,提出了构建金融知识图谱来描述主题的方法。采用Bert-Bi LSTM-CRF模型对金融相关文本进行命名实体和关系进行联合抽取,对异构数据执行知识融合等步骤,解决实体属性值不一致和缺失等问题,最后运用Neo4j图数据库实现三元组数据的持久化存储,完成构建金融知识图谱Fin Graph。（2）针对主题网络爬虫技术中的爬取策略问题,提出了一种基于知识图谱的关键短语提取算法。将基于语义的AP聚类算法应用到文本中,运用知识图谱将集群中的词连接到知识图谱中的实体,通过语义网络结构挖掘词之间的潜在关系,赋予边权值量化潜在关系构建关系词图,构建了集成AP聚类和图的中心性算法来提取关键短语的框架,以此筛选出与金融主题相关页面,减少与主题无关信息的干扰,从而使主题网络爬虫返回的结果具有较高的准确率。（3）结合以上两点研究内容,研制了一个结合网页文本内容和链接结构进行主题判定的混合主题网络爬虫。本文通过Fin Graph知识图谱对网页文本进行关键短语提取,结合提取的关键短语与主题进行语义相似度计算,并同时考虑链接结构来筛选出相关性较高的页面,最后根据己爬取的网页文本进一步补充Fin Graph知识图谱。