互联网的迅猛发展推动了中国农林信息化由数字农林跨入智慧农林的新阶段。智慧农林更加注重各个环节、各种资源、各项业务的深度整合、集约共享和业务协同,通过智慧农林的实现,必将带来农林生产力的又一次深刻变革,农林信息化也将迎来一个新的大数据时代。如何更好地利用海量的农林信息资源,为我国的农林科学领域广大科研人员,教学工作者以及农民服务,就迫切需要对农林信息资源实现快速、准确、全面的检索。传统通用搜索引擎为所有用户提供统一接口,但是因为其庞大的数据量和宽泛的主题已不能满足农林领域用户对信息准确性、实时性和深度等多方面的个性化需求,因此研究基于农林主题的搜索引擎具有理论意义和应用价值。本文首先分析当前分布式爬虫系统模型,深入研究对等分布式爬虫系统中URL任务调度策略,针对一致性哈希任务调度策略存在的服务器节点在地址空间映射随机而引起抓取任务负载不均问题,提出了基于SP-cycle算法的节点地址空间分配策略,使得所有服务器节点分配的地址空间达到动态均等,改善了分布式爬虫系统负载均衡,达到在不影响爬虫系统运行的情况下解决服务点节点突发异常的问题。其次针对病虫害主题搜索引擎设计过程中的主题表示方法,文本分词方法以及主题爬虫的搜索策略等关键技术展开深入研究,通过建立大量领域页面库提取主题词、领域专家人工指定以及根据用户搜索日志定期更新的方式构建主题词典,并在此基础上设计了病虫害主题向量用于主题描述;采用IKAnalyzer智能分词模式结合扩展主题词典的方式进行文本分词,达到良好的主题文本分词效果;从链接结构和文本内容两方面考虑,设计了符合本课题的爬虫搜索策略,提高了主题信息的采集效率和采集质量。最终实现了一个基于植物病虫害主题的搜索引擎,并与通用搜索引擎比较检索结果,对实验结果进行分析评价,证明本系统具有明显的植物病虫害主题倾向性,查准率优于通用搜索引擎,具有一定的实用价值。