随着因特网的发展,人类的社会活动开始广泛使用人工智能技术,该技术的应用发展通常需要构建不等规模的知识库来为其做后台数据支撑。而知识库的建设往往需要从海量的半结构化、非结构化网络信息中抽取出结构化数据。本文研究的重点是面向海量的互联网网络数据做信息抽取,主要包括网页数据的收集整理、半结构化信息抽取、非结构化信息抽取和资源描述框架三元组构建知识库四个方面内容。豆瓣网、大众点评网、中文网络百科等海量网络数据中包含了大量半结构化、非结构化数据,这些数据是信息抽取的很好数据源。目前大多数网站有数据反抓取保护,从以上网站收集数据时遇到封禁lP,很难爬取到该网站全部数据的困难；以及由于中文网络百科属性是由无数网友人工自定义的,导致了属性多达几千个,之前的研究者都只是抽取了属性词频较高的少量属性的知识,而放弃了对大多数属性知识的抽取。针对以上难题,同时以构建结构化知识库为目的,本文完成了以下步骤的工作,并提出了以上困难的解决方案。具体内容如下：第一,本文研究了HttpClient代理服务器使用动态IP下载数据的方法。针对豆瓣网、大众点评网、百度百科、互动百科下载网页源码时遇到封禁IP的数据保护问题,采用HttpClient代理服务器开启多线程并使用多个免费代理IP循环下载。第二,对于半结构化数据的抽取,研究了一种基于正则表达式的半自动抽取方法。根据豆瓣、大众点评、中文网络百科中半结构化数据的特点,结合正则与字符串匹配,提出了一种半自动的信息抽取方法。第三,对于非结构化数据的抽取,研究了属性构建的方法。针对中文网络百科非结构化信息抽取中同一种属性用词不同,属性多,且相同属性与其他百科命名不一致,难以将不同的百科建立统一的知识库问题,提出了属性分层构建、属性统一的方法。第四,使用资源描述框架三元组构建知识库。在得到结构化数据之后,将这些数据整理为统一格式,然后使用资源描述框架三元组的方法将所获取的不同来源的结构化数据建立各自的知识库。本文以豆瓣网、大众点评网、百度百科、互动百科为数据集,分别对这些网页中的半结构化数据进行信息抽取。然后以百度百科、互动百科为数据集,建立每个分类下统一的属性,并在互动百科的非结构化数据集中对“人物”类别进行信息抽取实验。从实验结果可以看出,本文提出的方法可以较好地解决信息抽取时难以覆盖更多百科属性的问题,为构建各领域属性覆盖更加全面的知识库提供了思路方法。