基于基础教育学科本体的主题爬虫设计与实现

来源 :南京师范大学 | 被引量 : 0次 | 上传用户:andychinajj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
因特网上的网页数量正在以惊人的速度增加,网络信息增长的速度与用户获取网络信息能力之间的矛盾日益突出,传统搜索引擎已经不能很好地满足用户高质量个性化的信息检索需求。此背景下垂直搜索引擎应运而生。垂直搜索引擎针对特定领域的信息进行检索,能够返回更全面更深入的信息。垂直搜索引擎的核心就是主题爬虫。现今网络上基础教育资源网页的数量已经初具规模,但使用常规网络爬虫对其抓取的结果却不尽人意。因此,本文希望通过对主题爬行方法研究,探索实现基于基础教育学科本体的主题爬虫,使爬虫可以自动索引Internet上散布于不同站点的基础教育资源网页,为教师、学生以及科研工作者提供高质量的资源检索服务。论文以初中物理为例展开研究。本文首先探究了初中物理学科本体的构建方法。参照斯坦福本体构建“七步法”提出了初中物理学科本体的构建方法。本方法将学科本体的构建过程分为本体骨架构建和实体抽取与本体填充两个部分。文章之后介绍了本文设计的基于初中物理学科本体的主题爬虫,该爬虫是在开源网络爬虫Nutch的基础上二次开发得到。爬虫的核心模块ParserJob模块添加了本文提出的主题爬行方法的实现代码。该方法通过链接锚文本分析和网页相似度计算来实现网页过滤。链接锚文本分析通过关键词匹配实现,关键词集使用本研究构建的本体进行主题语义扩展后得到。网页相似度计算使用朴素贝叶斯算法实现,同时使用本体过滤特征词汇来实现特征空间降维以优化贝叶斯算法。实验表明,本文构建的本体爬虫的平均准确率能达到68%左右,比朴素贝斯爬虫和常规爬虫的平均准确率高。对爬虫各主题的识别准确率分析表明,本文设计的爬虫对初中物理5个主题的网页识别能力都较为稳定,不存在有的主题识别的好,而有的主题识别不好的问题,各主题的识别准确率之间相差不超过5%。对本文设计爬虫抓取的网页的内容进行分析得知,本文设计爬虫抓取的网页大多是包含课件、教案和习题的网页。
其他文献
喷砂工艺作为普遍使用的离线清洗工艺在石油石化领域有着广泛的应用。本研究针对喷砂工艺中普遍存在的固体颗粒在高速湍流裹挟下产生的粉尘影响人体健康的污染问题,提出了通
经颅磁刺激(Transcranial magnetic stimulation,TMS)作为一种非接触式、无痛无损伤、非侵入性的刺激方式,在临床应用及脑功能基础研究上具有明显的优势。TMS技术主要依靠磁场
切割叶轮后盖板作为一种新型平衡轴向力方法,具有加工方便,节约成本等优点,但叶轮后盖板切割后,泵性能、泵腔压力、泄漏量等参数的变化目前还没有详细的论文进行说明。因此,本文以IS80-50-315型离心泵为研究对象,共设计出15种试验方案,每种试验方案均采用试验与数值模拟相结合的研究方法,研究叶轮后盖板切割量对离心泵性能、泵腔压力、泄漏量、轴向力等参数的影响。(1)对试验数据分析后发现,泵性能曲线随着
梭式自动存取系统(shuttle-based storage and retrieval system,SBS/RS)作为一种新型的垂直与水平运动相分离的仓储系统,在新零售环境下有着广泛的应用前景。带有层约束的SB
英语是高中学生主要的学习科目之一,由听力,口语,阅读和写作组成。写作作为输出技能,在高考中占有一定比例。由此可见英语写作是英语老师的一个重要教学任务。然而,我国的英语写作教学仍存在许多问题:教师的不重视,教学设计单一枯燥,写作作业缺乏审阅和反馈等,从而导致学生写作动机匮乏,写作能力差,教师写作教学能力有待提高。产出导向法根据中国英语教学现状,结合学生心理特征和英语教学的要求而提出。因此,笔者以产出
旋流泵是一种在现代生活和工农业生产中应用较为广泛的固液两相流泵,具有结构简单、容易制造、运行平稳等优点。当旋流泵输送含有大量固体颗粒的流体介质时,由于无叶腔结构所引起的循环流使得旋流泵的无堵塞性能良好,叶轮磨损程度也相应减轻。因此旋流泵被广泛应用于工业浆料输送、城市排污、农业生产等领域。但目前所研发生产的旋流泵具有水力效率偏低、能耗较大的缺点。旋流泵叶轮对流体介质传递能量时,机械能并没有完全转化为
2020年是我国全面进入小康生活的富强年代,汽车已经成为中国百姓日常的代步工具。车辆保有量的不断增加,给交通带来了巨大的压力,为了缓解交通压力,车辆的信息收集对于交通管理者来说至关重要。在机器学习以及人工智能的高速发展下,通过深度学习的图像处理而获取车辆目标的信息则很好的解决了这一问题。车辆对象由多种属性构成,像颜色,车型,车牌等属性都可以做为车辆对象的识别依据。将车辆对象的每种属性做为一类标签,
在桥梁工程中,腐蚀是威胁钢结构桥梁安全性的重要原因之一,摩擦型高强螺栓连接节点作为钢结构桥梁重要的连接形式,腐蚀对其受力性能的影响关系到钢结构桥梁的安全性。本文研
目的:基于3.0T核磁共振T1图像,采用体素水平形态计量学方法(voxel-based morphometry,VBM),分析青少年及年轻成人抑郁症脑灰质体积变化,探索青少年及年轻成人抑郁症脑神经生物标志物。方法:收集符合DSM-IV抑郁症诊断标准的53名青少年及年轻成人被试分为抑郁症组(major depressive disorder,MDD组),以及47名年龄和性别相匹配的健康被试分为健康组
目标:改革开放以来,尤其是二十一世纪以来,随着社会的发展人们已经进入了数字经济时代和智能时代,科学技术的发展为我国的医疗事业带来了广阔发展,也迎来了前所未有的历史机遇。人们真正开始进入大数据的时代,与其他行业相比,医疗行业具有更大的挖掘和潜力。我国医疗行业最近几年也经历了较大改革,服务质量和水平大大提高,终端设备也越来越方便快捷,更加人性化。与此同时,医院每天接受大量病患,病人情况又是各种各样,而