基于邮储历史数据管理的数据迁移系统研究与实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:menchen528
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
诸如银行、电信等行业都有着业务集中、数据集中、大业务量、业务连续性强的特点。数据量的急剧增长对数据的存放、管理和使用提出了挑战。目前,分级存储管理(HSM)是解决这种海量数据管理的一种主流方式。 分级存储管理一般由数据迁移系统来实现。而数据迁移系统要解决两个关键问题:数据迁移和存储管理。数据迁移通常包含以下技术:一、不同主机或存储设备之间的数据文件或数据块的传输技术;二、数据库之间海量数据的(增量)导入、导出技术;三、异构数据库之间的数据映射与转换技术;四、针对具体应用环境所采用的其它技术(如迁移作业的调度管理)等。在存储管理方面,目前除了对存储设备本身(如磁盘阵列、磁带库、光盘库)的存储管理技术研究外,存储资源的整合与虚拟化的研究则是另一个需要深入研究的问题。本文以邮储历史数据管理软、硬件环境为基础,从用户的实际需求出发,按照生产系统数据库、历史系统数据库、光盘库三个存储层级对数据迁移系统进行了研究与实现。本文的研究工作包括以下几个方面:存储规划、Oracle表数据迁移脚本工具的编写、批量迁移作业的调度和离线数据归档管理。其中,批量迁移作业的调度和归档数据存储算法是本文研究与实现的重点。 在批量迁移作业的调度执行方面,作者借鉴了开源的OpenPBS以及其它作业系统的一些设计思想,实现了更实用的批处理作业管理系统。调度系统将作业分派在多台主机上运行,使主机之间负载均衡,还可以将作业分派在预先指定的机器上,从而大大缩减了数据迁移的处理时间。在光盘库离线数据文件存放管理方面,本文通过分析多目标优化问题的基本原理,同时考虑了文件关联性的保持和光盘存储空间的利用率,提出了一种存放带约束多目标关联文件的进化算法,并与SPEA2算法的实验结果进行了对比,验证了它的有效性。另外,通过对离线归档数据文件的元数据分析,系统还实现了有效的离线数据存储管理。
其他文献
本文从电子政务的发展与现状与模型自动化等两个组成环节出发:从模型建立、模型转换方法、数据接口设计、扩展性设计、软件过程等诸多方面加以论述,并给出实现途径。 文章从
本文对VOD系统所涉及到的媒体文件的存储、控制播放等技术进行深入的研究。针对分布式VOD系统中媒体文件分块存储在不同播放服务器的特点,即媒体流的控制和传输相分离的特点,本
本文提出了基于无线传感器网络来实现觉察上下文的新思路、新概念。本文主要利用无线传感器网络所具有的独特优势来实现觉察上下文,本文使用数据融合技术来实现上下文信息的分
本文从Java平台无线技术中的J2ME体系架构入手,在无线网络分布式应用研究中,提出了一个基于J2ME与Servlet技术的信息组织与检索的模型,实现了一个实际的模型系统—WTSE(无线翻译
面向对象数据库是OO方法与先进的数据库技术相结合的新一代数据库,它具有支持复杂数据类型、表达丰富语义等优点。目前面向对象数据库系统对软硬件平台要求高、学习复杂,还未广
作为新一代静态图像压缩标准的JPEG2000,如今已被认为是互联网和无线接入应用的理想图像编码解决方案,其在各方面都明显优于传统的静止图像压缩算法。在许多的图像应用中,基于感
本论文首先介绍了网格计算技术及其应用发展前景,重点讨论了在数据网格中的资源管理和调度(RMS),解决如何管理各种异构、地理分散的资源问题。比较当前几种主要的市场模型,分析
目前国际上存在两大系列视频编码标准:MPEG-4和H.264,两者都具有高效的编码效率,并在产业化方面占据了先机。中国自主知识产权的数字音视频编解码标准视频部分(AVS1.0)在2006年3
现代意义上的垃圾邮件产生于1994年,当时美国人Cantor和Siegel把一封“绿卡抽奖”的广告信发到他们可以发现的每个新闻组,这在当时引起了轩然大波,他们的“邮件炸弹”让许多服务
随着计算机和网络信息技术的发展,整个社会对医院医疗质量和服务水平的需求逐渐提高,建设数字医院(DigitalHospital,DH)已经成为医院今后发展的必然趋势。 为了推进医院医疗