基于Timed-PageRank的聚焦爬虫优化研究

来源 :四川兵工学报 | 被引量 : 0次 | 上传用户:df_871
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的基于PageRank算法的网络爬虫在抓取网页时由于只考虑了网页的超链接,势必会使爬虫结果覆盖面广、冗余度高,聚焦爬虫由于其可以有效地过滤与主题无关的链接,只保留有用的链接并将其加入到待抓取的URL队列,因此能够有效地降低爬虫冗余;在分析PageRank算法的基础上,将网页的时间维数和页面的内容相关度融于其中,提出了基于Timed-PageRank的改进算法,并将该算法应用于聚焦爬虫过程中,实践证明该算法能够有效地提高爬虫页面相关度及检索结果的查全率和查准率。
其他文献
本文通过“有声思维"(think-aloud)实验手段探讨两个问题:一是英语学习者在学习词汇过程中的策略使用倾向,二是善学者和不善学者在策略使用中的特征。实验证明,善学者使用的
本文对"马踏飞燕"青铜雕塑程式化造型进行了深入的分析,进而肯定它是汉代艺术家丰富想象力与高超艺术技巧的结晶,是东汉末期青铜雕塑的杰出代表。
<正>1 我国特种水泥发展历程硅酸盐水泥因历史悠久、性能可靠和价格低廉而得到广泛应用,已成为当今最重要的建筑材料之一。我国是水泥工业大国,自1986年来我国水泥年产量一直
地基处理方法有很多种。科学选择地基处理方法,可显著降低工程造价,提高工程施工质量,缩短工程工期,优化基础施工。桩基的选择应考虑工程位置的地质、水文条件、建筑物形状和
<正>培训是人力资本投资的重要形式。"有文化、懂技术、会经营"的高素质新型农牧民培训既是农村人力资本的主要投资,也是促进农村牧区发展和提高农牧民收入的重要路径。加强
针对大型商场火灾危险性严重的典型部位,运用数学模化和计算机模化的方法,采用双层区域模型,建立了开敞式空间防烟分区内烟气流动过程的数学模型和计算机模化软件CSMOKE.应用
系统研究了不同固形物对乳酸菌饮料稳定性的影响,通过对产品稳定性的分析测试及长时间观察,结果表明:蔗糖、CR3010添加量分别为10%~12%和1.5%时可以有效提高乳酸菌饮料的稳定
通过对烧结矿FeO含量降低1%前后各一个月的烧结矿性能及其应用于高炉生产引起的高炉生产指标变化分析,总结出烧结矿FeO含量降低1%对唐钢烧结生产及高炉生产的影响规律。
色彩在儿童绘本设计中是很重要的一部分,起着非常重要的作用,对于儿童绘本的整体视觉产生非常大的影响。不同的色彩语言对于儿童感官有不同的影响,儿童绘本中色彩的运用能够
改革开放三十多年,我国经济发展脚步逐渐加快,企业发展和社会经济建设都取得了显著的成绩。但是,基层财政管理没有进行积极地改革,在经济快速发展的社会,开始凸显出严重的问