基于第三级存储器的海量数据管理技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:chenchao198339
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  本文以第三级存储器技术为研究对象,研究海量数据管理中的关键性问题,在第三级存储器的存储管理、基于第三级存储器的数据操作、基于第三级存储器的查询优化和海量多媒体中的第三级存储器技术等方面取得了一系列研究成果。   提出了单磁带数据I/O调度算法TIOCN2,与其他算法相比,在没有增加算法复杂度的前提下,第三级存储器的访问性能得到了提高。交换磁带是第三级存储设备中的机械操作,费时很多,因此仔细地选择装载磁带的顺序,可以节省第三级存储器上请求的总体执行时间。本文根据系统的当前状态和请求负载,提出四种磁带选择算法,并结合单磁带I/O调度算法,其实验结果表明磁带库的整体访问性能得到了明显的改善。根据SCSI接口原理和Exabyte公司提供的符合SCSI-Ⅱ标准的SCSI命令集,设计与实现了基于第三级存储器的虚拟文件系统,屏蔽磁带物理访问细节,为上层应用程序提供编程接口,实现磁带信息的“按名存取”。该虚拟文件系统包括磁带文件创建、文件读取、文件更新、文件删除、文件拷贝、文件重命名以及磁带存储空间碎片整理等操作。   设计与实现一种新的基于第三级存储器的海量数据索引THB-tree结构,创造性地将索引分成三个层次进行存储,并利用叶子节点上数据元组的有序性,有效地支持了基于索引的海量数据库关系代数操作。本文分别给出聚簇THB-tree索引和非聚簇THB-tree索引的构建方法及维护算法。研究了磁带库中的数据优化存放问题,给出最优化的磁带文件存放定理和证明。   设计了一种新的海量数据排序算法STESort,充分利用存储设备的物理特点,巧妙地分布排序子段,仅用两个磁带驱动器实现海量数据排序,明显优于传统排序算法。在排序算法的基础上,设计与实现基于排序的海量数据库集合操作算法和海量数据库的关系代数操作算法。给出一种基于第三级存储器的海量数据库查询优化方法。   研究第三级存储器在海量多媒体系统中的应用,设计了一个局域网环境中的海量多媒体系统TSMS。在TSMS中,提出基于磁带Strip技术的多媒体数据存储方法、基于RIV矢量的多媒体请求调度算法和混合负载下的海量多媒体数据存储和数据提交算法。
其他文献
计算机支持的协同工作(CSCW)能提高人们的工作效率,促进社会生产力的发展,深刻影响人类群体的生产方式、工作方式和生活方式。计算机支持的协同学习(CSCL)是CSCW思想在教育和学
无线Mesh网络具有可靠性高、容量大、组网灵活、成本低廉等特点,其已经成为下一代无线宽带接入技术的研究热点。在一些特殊环境中,由于部署区域内的终端节点移动范围较大,为
向量空间模型由于其算法简洁,可修改性强,广泛应用于信息检索领域。然而,在运用向量空间模型进行网络中文信息检索的时候,由于传统的TF-IDF方法不能很好的对网页内容进行描述
关联规则挖掘是数据挖掘领域的一个重要分支,经过众多学者十几年的研究,在理论方面已经相对比较成熟。其应用范围多集中在零售业,在金融服务业和WEB挖掘中的应用也在逐渐扩大。但在质量管理领域中的应用却少有论及。实际上,质量管理过程中的各种质量特性值之间存在着大量的关联关系。随着企业信息化的不断开展,多数企业已经存储了大量的质量数据,通过挖掘这些数据发现蕴涵的各种关联规则,为企业领导制定生产决策,改进生产
中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。中间件软件管理着客户端程序和数据库或者早期应用软件之间的通讯。中间件在
随着Internet应用的普及,作为信息时代的产物和宠儿,电子商务获得了迅速的发展。电子商务系统每天都会产生大量的交易数据,如何利用这些数据为不同客户群体提供个性化服务,进
随着视频信息的大规模引入,基于关键字的传统检索技术已不能适应人们的需要,基于内容的视频检索成为了研究的热点。基于内容的视频检索就是指根据视频的内容及上下文关系,对大规
作为无线通信系统的重要组成部分,移动Ad Hoc网络因其无需预设基础设施、自组织、快速部署、抗毁性强等优点,使其具有良好的应用环境适应能力,具有广阔的发展前景。然而移动A
虽然随着计算机科学技术的快速发展,从第一台计算机产生至今,计算机的性能已经增长了成千上万倍,但是人们对高性能计算的需求也在不断的提高。因而在实践中,单个处理器还不能
随着 Internet的不断发展及通信业务形式的改变,宽带接入网技术得到了迅猛的发展。千兆无源光网络(Gigabit-Capable PON,GPON)作为一种典型的光纤接入技术,凭借着其高带宽、