面向图书的垂直搜索引擎的研究与实现

被引量 : 0次 | 上传用户:feicheng11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Internet的出现使互联网成为了一个重要的信息资源宝库,网络用户需要利用搜索引擎提供的检索服务去查询想要的信息。传统的通用搜索引擎可以满足用户搜索信息的基本需求,但是由于通用搜索引擎检索的范围宽泛,在返回给用户的结果中包含了大量用户不关心的信息,用户不得不对检索结果做进一步的过滤操作,这种额外的过滤操作使用户的检索体验变得不好。垂直搜索引擎弥补了这个不足点,相比通用搜索引擎而言它缩小了检索的范围,只关心网络中某一领域或者某一主题的信息,从数据源头上保证了用户检索的内容就是他们所关心的。同时垂直搜索引擎还对杂乱的网络信息进行相应的处理,将其中主要的部分抽取出来并以结构化的方式呈现给用户,使用户可以迅速发现最重要的信息。论文首先介绍了搜索引擎的基本概念以及分类,然后介绍了搜索引擎的工作原理。通过对比通用搜索引擎和垂直搜索引擎工作原理的不同点,对垂直搜索引擎涉及的主题网络爬虫、主题相似度判断等关键技术进行了介绍与分析。在论文中所做的主要工作包括:相同主题的超链接之间在URL结构上具有相似性,根据这种特性对传统基于页面内容的Shark-Search主题爬行算法进行了改进,在预测孩子URL链接的优先级得分时考虑了URL链接的结构特性对优先级得分值的影响;对向量空间模型计算页面相似度进行分析,提出使用二次主题判断的方法获得更多的高质量的主题相关网页;针对图书元数据信息在网页中的分布特点,结合解析工具HTMLParser设计了一个半自动的元数据抽取算法;利用全文索引开发包Lucene实现了一个面向图书资源的垂直搜索引擎系统的原型,并对Lucene检索结果的默认排序进行了自定义扩展。最后对本文实现的主题爬行算法进行了实验分析,在主题页面相对集中的规范的站点中运行效果较好,因为在这类站点中相同主题的URL之间的相似性比较明显。对实现的面向图书的垂直搜索系统原型进行验证,相比通用搜索引擎系统能够获得比较精确的检索结果,同时对Lucene默认排序进行自定义扩展可以使检索结果排序更合理。
其他文献
摘要:栾川洛钼集团三道庄矿区由地下转为露天开采,地下采空区危害严重制约着矿山的发展,通过一次爆破成充填井,进而充填采空区是治理采空区的手段之一。针对超深孔直眼掏槽爆
社会发展动力,这一关系着社会发展前途的问题一直都是古今中外积极探讨的且在社会实践中不断创新的永恒主题。马克思把社会发展动力按其层次和起作用的方式,分为根本动力、基本
唐诗作为我国传统文化艺术的瑰宝,在世界文化宝库中同样璀璨夺目。它以其广泛的题材内容、丰富多彩的艺术风格、唯美的音律形式,千百年来一直为世人传诵。唐诗的翻译是中国文化
柑橘是长绿生长、形状稳定,而且是昆虫类变动比较少的植物,这对柑橘的病虫害治理提供了有理的条件,通过多年来对柑橘种植的观察研究,总结了单项综合治理的各种对策和田间柑橘
<正>电视剧艺术是大众通俗艺术的一种,观众看电视剧主要是看故事、看情节,人物形象的刻画是否鲜明饱满是其中重要的原因之一。改编自诺贝尔文学奖获得者莫言先生的小说《红高
随着经济的发展与人们生活水平的提高,人们对生活环境的要求越来越高,景观设计就在这样的环境下应运而生。现代化景观设计主要解决人与自然的矛盾,通过合理的景观布局,满足人
水库工程管理和养护的可持续发展,直接决定着水库能否安全高效运行和水库经济效益的正常发挥,加强水库工程管理和养护知识的探讨和研究至关重要。本研究从河南省陆浑水库工程
图腾是一个被人格化的崇拜对象,是一种权利、力量、智慧的综合体现。这种权利、力量、智慧、法力和能力更多的被赋予男性,而成为男性的所有或专有。《狼图腾》是一部男性强力
舞台美术是舞台演出艺术中一个重要的有机组成部分,随着时代科技进步和舞台演出的不断发展进化的,舞台美术设计的表现方式呈现出越来越多的新特点,融合更多个性化和科技化元
道光二十六年(1846),包头商业发展迅速,工商业者联合成立“包头镇公行”,蒙古行是“公行”之下按经营种类分设的九行十六社之一,主要从事贩运蒙古族人民生活用品,以货易货,换取蒙民的