随着互联网的发展,新闻、博客、论坛、微博等各种站点不断涌现,网络所承载的数据量不断增长。使用搜索引擎查找信息已成为一种通用的方式。但随着数据量的不断增长,传统的集中式搜索引擎解决方案已经不能有效的提供快速有效的检索服务。本文针对海量数据情况下的数据环境,探讨了采用云计算平台处理数据、创建索引并提供分布式检索服务的关键技术。本文首先指出了使用云计算平台进行搜索引擎开发的必要性与可行性,之后对论文中涉及的Hadoop云计算平台、基于Lucene的搜索引擎、基于Java远程方法调用(Remote Method Invocation,简称RMI)的分布式系统以及基于Memcached的缓存系统进行了讨论。在此基础之上设计了一个由分布式索引模块、分布式搜索模块以及缓存模块构成的基于云计算平台的分布式搜索引擎。在分布式索引模块,数据预处理之后将以SequenceFile的形式存放在HDFS分布式文件系统之上,尔后采用MapReduce分布式数据处理模型按照索引分解与分块策略对其进行分布式索引构建。在分布式搜索模块,基于RMI和Lucene技术构建了一个“中心节点—搜索节点”模式的分布式搜索引擎框架。搜索节点采用Lucene对索引进行全文检索;中心节点负责接收用户的搜索请求并将其分发至搜索节点,待搜索节点完成搜索之后,中心节点再对搜索结果进行合并,最后发送给用户。为了避免在高并发条件下的搜索引擎负载过高引起的问题,本文采用Memcached对搜索结果进行缓存,有效的降低了搜索引擎的负荷。在以50个节点组建的云计算平台上的实验结果表明,该设计方案能高效的对数据进行索引,并可以提供高效准确的全文检索服务。