论文部分内容阅读
本文以第三级存储器技术为研究对象,研究海量数据管理中的关键性问题,在第三级存储器的存储管理、基于第三级存储器的数据操作、基于第三级存储器的查询优化和海量多媒体中的第三级存储器技术等方面取得了一系列研究成果。
提出了单磁带数据I/O调度算法TIOCN2,与其他算法相比,在没有增加算法复杂度的前提下,第三级存储器的访问性能得到了提高。交换磁带是第三级存储设备中的机械操作,费时很多,因此仔细地选择装载磁带的顺序,可以节省第三级存储器上请求的总体执行时间。本文根据系统的当前状态和请求负载,提出四种磁带选择算法,并结合单磁带I/O调度算法,其实验结果表明磁带库的整体访问性能得到了明显的改善。根据SCSI接口原理和Exabyte公司提供的符合SCSI-Ⅱ标准的SCSI命令集,设计与实现了基于第三级存储器的虚拟文件系统,屏蔽磁带物理访问细节,为上层应用程序提供编程接口,实现磁带信息的“按名存取”。该虚拟文件系统包括磁带文件创建、文件读取、文件更新、文件删除、文件拷贝、文件重命名以及磁带存储空间碎片整理等操作。
设计与实现一种新的基于第三级存储器的海量数据索引THB-tree结构,创造性地将索引分成三个层次进行存储,并利用叶子节点上数据元组的有序性,有效地支持了基于索引的海量数据库关系代数操作。本文分别给出聚簇THB-tree索引和非聚簇THB-tree索引的构建方法及维护算法。研究了磁带库中的数据优化存放问题,给出最优化的磁带文件存放定理和证明。
设计了一种新的海量数据排序算法STESort,充分利用存储设备的物理特点,巧妙地分布排序子段,仅用两个磁带驱动器实现海量数据排序,明显优于传统排序算法。在排序算法的基础上,设计与实现基于排序的海量数据库集合操作算法和海量数据库的关系代数操作算法。给出一种基于第三级存储器的海量数据库查询优化方法。
研究第三级存储器在海量多媒体系统中的应用,设计了一个局域网环境中的海量多媒体系统TSMS。在TSMS中,提出基于磁带Strip技术的多媒体数据存储方法、基于RIV矢量的多媒体请求调度算法和混合负载下的海量多媒体数据存储和数据提交算法。