伴随着互联网的高速发展,网上信息呈爆炸式增长,普通网络用户从互联网上查找所需资料有如大海捞针。针对这种现象,搜索服务应运而生。搜索引擎技术根据网页相关性、站点的权威度等因素将网页进行综合排名,用户在搜索所需信息时,质量高的结果得到优先展现,这对普通网络用户来说有重大意义。搜索引擎的目标是最大程度上满足用户查找信息的需求,但在实际检索中,发现对于一些查询频次低、线上资源少的搜索需求,搜索引擎很难将相关程度高的结果优先返回给用户,导致用户进行检索的体验较差。本文所介绍的相关性评估是提升搜索质量的一个基础而核心的步骤,评估工作可以发现目前搜索引擎技术的缺陷,提高搜索质量,搜索引擎相关性评估工作的成果,将影响到数亿用户的搜索体验。冷门query(关键词、查询词)相关性评估项目通过对查询频次低的query进行网页相关性评估,分析目前rank模型存在的问题,进而改善用户在冷门query检索上的体验。本人的主要工作如下：1.在相关性4档评估方法的基础上,设计了相关性5档评估方法,这也是本文的重要创新点；2.通过德尔菲用户相关性评估实验,得到来自于用户真实的相关性评估数据,将相关性4档打分和5档打分的网页数据标注结果进行曲线拟合,以证明相关性5档打分方法对于冷门query相关性评估具有明显的精确性；3.组织用户对冷门query对应的百度、Google网页数据进行相关性评估,并对评估结果进行宏观统计分析,量化百度与Google的检索差距,量化百度与理想情况下的检索差距。通过具体例子分析rank模型的问题,指出模型的改进方向。本文设计并使用的相关性5档评估方法为rank模型问题分析提供了更为精确的数据支持,以改善用户使用搜索引擎检索冷门query的体验感受。