Web数据库特征表示和抽取方法的研究

来源 :山东财经大学 | 被引量 : 0次 | 上传用户:zhuguangxinli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的发展,Web正在加速地“深化”,Web可以简单地分为两部分:Surface Web和Deep Web。前者是指通过超链接就可以被传统搜索引擎搜索到的页面的集合;后者普遍被认为是网络中可访问的在线数据库。与Surface Web的信息相比,Deep Web中所包含的信息数据量更大、信息质量更好、专业性更强,因此日益成为人们获取信息的主要途径之一。由于Deep Web中大量的信息被锁定在数据库内,而许多网页也是通过响应具体的查询动态生成的,所以实现对Deep Web或WDB(Web数据库)的检索,不仅将大大扩充现有搜索引擎的搜索能力,更为人们方便地进行信息查找提供了便捷的手段。WDB查询接口是我们访问和检索WDB的唯一路径,每个查询接口对应于不同的查询模式,用户通过填写不同的查询接口并提交请求,从而发现合适的信息。但是随着JavaScript、Ajax等动态脚本技术的广泛应用,查询接口的复杂性也在逐渐增加,另外网上有众多的WDB,而且其包含的数据也是多种多样的,所以快速识别WDB这类动态查询接口的特征、发现接口内各元素之间的约束关系、实现接口特征的量化表示并对特定领域的WDB数据的特征进行定量描述和抽取是实现对WDB自动访问和提高传统搜索引擎搜索能力的关键步骤。本文针对以上问题,主要以WDB特征为主线研究了WDB查询接口和WDB数据特征的表示方法、Web数据库采样、WDB查询接口和WDB数据特征的抽取方法。具体研究内容包括:(1) WDB查询接口和WDB数据特征的表示方法本文将WDB数据属性分为三类,即文本属性、分类属性和数值属性。对于文本属性,采取基于词频的特征表示;对于数值型属性,基于数值属性具有连续性的特点,且正态分布具有强大的普适性,我们采用正态分布的期望和偏差表示数值属性的特征;对于分类型属性采取基于统计的特征表示方法。在获取以上各类属性的特征后,将形成最终的特征向量。最后,因为本体具备良好的知识表示能力和推理能力,本研究采用本体的方法进行查询接口的表示。(2)基于贝叶斯模型的数据样本抽取方法为了实现对WDB特征的抽取,本文提出一种基于贝叶斯模型数据样本抽取方法,该方法大体过程分为5个步骤:①构建WDB初始查询;②通过初始查询获得查询结果;③将结果加入样本集并对查询结果进行分析,分别计算出各个特征词的概率和条件概率,为下一个查询做准备;④根据相似性原则判定获取样本的循环是否应该被终止;⑤继续下一步查询,直到循环被终止。根据实验对本文提出的采样方法的合理性和有效性进行了验证。(3) WDB查询接口和WDB数据特征的抽取方法基于以上研究,本文给出了WDB查询接口抽取方法和WDB数据特征抽取方法。首先,针对查询接口的上下文信息、表单信息以及表单域之间的关联信息给出相应的抽取方法,分别为基于正则表达式的表单信息的抽取和基于Watir和Ajax的表单域关系的抽取;其次针对WDB数据特征的抽取,分别给出了基于词频的文本型数据特征抽取、基于正态分布的数值型数据特征抽取和基于记录数量比值的分类型数据特征抽取。
其他文献
摘要:任务型语言教学已成为广泛运用于课堂的教学手段。本文着重分析了任务型教学法中任务的二维,并结合本校生源实际,对课堂任务的设计进行探讨。  关键词:任务型语言教学 参与度 外来员工子弟  中国分类号:C961  任务型语言教学是20世纪80年代外语教学研究者经过大量研究和实践之后推出的具有一定影响的一种教学模式。任务型语言教学“直接通过课堂教学让学生用英语完成各种真实的生活、学习、工作等任务,从
随着国际贸易、国际物流的快速发展以及港口竞争的日益加剧,内陆港应运而生。目前对于物流竞争力的研究主要集中在第三方物流企业、物流园区和港口方面,而对内陆港物流竞争力的
摘要:传统的物理教学方式仅仅是对课程知识的再现和讲解,如果在教学中不加入创新元素,那么学生对这种枯燥的教学方式已经渐渐失去兴趣。如何在教学中培养学生的学习兴趣,加强学生的理解能力,已经成为现代初中物理教学中的重要课题。本文通过对物理教学的现状进行研究,创设了学习物理情境的方式,以对后期初中物理教学有所借鉴。  关键词:初中物理教学 创设情境 教学效果  中国分类号:G633.7  引言  为教学创
摘要:随着社会的快速发展,创造型人才越来越受到社会的欢迎,创造型人才也是国家进步和发展的必要基础条件.随着新课程改革的不断深入,对学生创造性思维的培养越来越受到学校和社会的重视.高中地理作为课程中的重要组成部分,因此应该充分重视高中地理课堂中对学生创新思维的培养.本文主要对如何在高中地理课堂教学中培养学生的创新思维进行探讨.  关键词:高中地理 课堂教学 创新意识 培养  中国分类号:G633.5
【摘 要】:在新课程改革的大潮下,教育的首要问题就是培养学生学习的自主性,让学生主动地参与学习。让学生自主学习是素质教育思想的基本体现;是学生生理、心理发展的要求;是提高课堂教学效率的有效途径;是减负的重要条件。自主参与学习有着积极的现实意义,在教学实践中我们该如何去培养学生的自主参与意识,本文从四个方面进行了闡述:提供自主努力的目标、激发自主学习动机、创设自主探究的空间、以及学习方式的指导。  
摘要:现在的英语课上,老师会经常采取小组学习的方式来促进课堂教学的质量,小组学习能激发课堂活跃氛围,对学生的学习效率也有很好的促进作用。教师不能将课堂的气氛弄僵,而要营造认知、生活、情感等充满人文和生活气息的课堂。要想营造高效课堂,其中的关键就是小组合作学习,小组合作是一种有效的课堂学习方式,每个人都能参与其中,這种合作学习的氛围更加有利于高效课堂的建设。教师要对展示交流的尺度进行掌控,以此来激发
【摘 要】在当前经济全球化快速发展的时代,学好英语已经成为了当代人的重要责任,也是适应当前时代发展需求的关键。对此,在我国新课标全面实施的过程中,加大了对英语教育的发展,使其通过各种方法来提高英语课堂教学质量,让学生更好的学习英语。而小组竞赛方法的应用,在很大程度上不但提高了英语课堂的教学效果,而且还有助于提高学生的合作能力。但若想使小组竞赛在英语课堂中得到很好的应用,首先必须站在更高的角度来看课
BOT(Build Operation Transfer)是民间资本参与公路建设的主要形式,我国BOT形式的公路项目(下面简称BOT公路)始于上个世纪九十年代。BOT公路曾为我国引入了外资,促进了我国公路建