数据仓库增量维护技术的研究

被引量 : 0次 | 上传用户:xiaoqiudyy1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库中包含着从各种独立自治的数据源中抽取出来的信息,当数据源发生变化时,数据仓库中的数据也必须被更新以反映这种变化,面对如此大量的数据,采用完全重载的方法显然是不可行的,因而有必要提出一种高效的增量式维护的方法,也就是只将数据源中发生变化的数据捕获并刷新到数据仓库中。建立在数据仓库上的一些应用,如OLAP分析和数据挖掘等,通常会涉及到大批量数据的检索,为了能够提高查询的效率,在数据仓库中会建立一定数量的实视图。目前关于数据仓库的增量式刷新的讨论,大部分都集中在实视图的维护上。本文提出了一个实现数据仓库增量刷新的体系框架,它将不再局限于实视图的维护,而涉及到了一个数据仓库系统运行的整个过程,包括对数据源变化的监控,将捕获到的变化数据传送和集成到数据仓库、对数据仓库的刷新和历史数据的保存等主要部分。当采用传统的方法对数据仓库进行维护时,所捕获到的变化信息将被直接应用到仓库中相应的表或实视图上。文中提出了一种Delta表的方法,变化的数据先被抽取到Delta表中,然后再利用Delta表对数据仓库进行增量维护,该方法能够将复杂的维护过程进行分解,使可控制性和正确性得到进一步的保证。由于数据源的更新和数据仓库的维护是两个分离的过程,这有可能导致异常数据的出现。本文提出了一种补偿算法,它能够有效的消除异常数据,该算法借用了ECA算法的核心思想,但是针对我们所提出的框架,该算法在实现上做了很大改进。在刷新过程中,数据仓库通常是不可访问的,为了减少数据仓库不可见的时间,我们将实视图的维护过程分成了数据传送和刷新两个阶段。在数据传送阶段,数仓库对用户仍然是可访问的,因而这个阶段会做尽可能多的工作以减少刷新阶段所需的时间。
其他文献
建筑业是我国的一大支柱产业,在国民经济中起到非常重要的作用。目前,随着我国建筑业安全、技术及质量等方面的管理水平全面提高,成本管理已经成为衡量建筑企业核心竞争力最
中国地铁经历了从计划经济条件下政府包办到市场经济条件下商业化运作的过程。在这一过程中,地铁建设投融资体制发生了巨大变化,地铁建设资金从由中央政府财政投入到地方财政
职业教育就是就业教育,培养生产和服务一线的高素质劳动者。职业教育坚持以能力为本位。模块化教学法(MES),是20世纪70年代初由国际劳工组织研究开发出来的以“现场教学为主,以技
作为旧城改造的有效途径,步行街不仅仅是城市经济生活的舞台、城市社会文化生活的载体,也是城市形象展示的“窗口”。然而,如何去塑造良好的商业气氛,拓展城市的商业功能,如
官方新闻发布语言(OPRL)是指政府官员或外交发言人在新闻发布会上代表政府观点和立场回答记者提问时所使用的语言。虽然语言学家和社会学家已经在相关领域进行了一定的研究,
本文主要探讨轨道工程施工方案的施工工艺及施工中的技术关键点,有利于更好控制施工质量和规范施工,提高生产效率。
近年来,国网山东诸城市供电公司重点对基层支部党建管理提升展开探索实践,构建了党建工作“型的培育、行的引导、质的提升”三步工作模式,创新推出“一线工作法”、“红旗夺标法
房地产行业是国民经济的支柱产业,房地产行业的健康发展对整个国民经济的稳定运行起着不可忽视的作用。2003年至今的房地产市场出现了局部过热的局面,国家加强了对房地产市场
<正> 力倡“文章合为时而著,歌诗合为事而作”的唐代大诗人白居易(字乐天,772—846),是古琴、琵琶、阮咸、筝、笛和觱篥等诸乐器的“知音”。诗人一向崇仰“以乐寄情”,大概
期刊
2000年7月,诺贝尔经济学奖获得者斯蒂格利茨在世界银行中国代表处时讲到,“21世纪初期影响最大的世界性事件,除了美国的高科技发展以外,就是中国的城市化”。由大规模城市化