随着互联网的迅猛发展,越来越多的信息在网上发布,这给人们查询信息带来了巨大便利的同时,也使得人们面对大量的信息不知所措,寻找一条自己想要的信息变得异常困难。因此,人们开发了搜索引擎,并试图通过它实现用户信息的快速准确查询。目前的搜索引擎能够检索的仅仅是World Wide Web提供的小部分称为Surface Web的信息。大量的Deep Web信息(估计容量是Surface Web的500倍)对这些搜索引擎是不可见的。特别是近年来,随着Web2.0的兴起,AJAX技术在Web中获得大量使用。AJAX采用异步通信机制,从服务器获取数据后动态修改Web页面内容,导致传统网络爬虫采集的内容远少于页面呈现的内容。因此,需要开发一个基于AJAX技术的Deep Web爬虫来实现此类信息的搜索。本文通过对传统网络爬虫实现方法和技术的研究,提出了一个基于AJAX技术的Deep Web爬虫的基本结构框架,并对框架中各模块的实现方法进行了研究。此框架由URL Server模块、网页采集模块、HTML解析模块、JavaScript解析器、页面生成模块五部分组成。和传统网络爬虫不同的是,基于AJAX技术的Deep Web爬虫不仅分析页面中的超链接和页面内容,还要分析JavaScript文件和代码,这些JavaScript文件和代码需要在HTML解析模块中抓取,并在JavaScript解析器中解释执行,其解释执行的结果是生成新的页面的基础。基于AJAX技术的Deep Web爬虫与传统网络爬虫的不同主要体现在HTML解析模块和JavaScript解析器中,本文对这两个模块的实现方法和技术进行了重点分析和研究,并提出了相应的实现方法和技术。本文对基于AJAX技术的Deep Web爬虫的实现方法的研究,对提高搜索引擎覆盖率和准确率有着非常重要的应用意义。