随着交管信息系统数据量增长,亟需从Oracle数据库切换到分布式数据库,切换过程中首先面临的是历史数据的迁移。由于系统允许的停机升级时间较短,待迁移的数据量大,主要面临以下两个问题:一是海量异构数据,历史数据和实时数据都要迁移,传统的迁移方案脚本执行失败高、传输时间非常长;二是数据安全性、一致性无法保障,数据传输时数据容易丢失,传输文件未加密。针对以上问题,本文提出了一种实现跨平台,整合异构数据的大数据在线迁移方法,主要研究内容有以下几点:首先,针对异构数据源之间数据迁移时结构转换复杂,本文设计开发了一个支持读取原数据库对象,自动生成对应分布式数据库对象的结构迁移子系统。然后针对非结构数据文件大、占用带宽大导致传输慢的问题,本文通过研究和设计一套压缩算法,对文件进行压缩,压缩后的文件减少了网络带宽提高传输效率;设计开发了实时数据迁移程序,实现了历史数据迁移的同时,增量数据也能同步迁移,保证数据的完整性。其次是针对数据传输过程中数据易丢失,数据易篡改的问题本文设计开发了数据加密功能,通过对文件、数据、字段进行MD5加密,确保数据传输过程中不丢失和不被篡改。然后针对传统数据迁移时无法追踪当前迁移进展,以及无法确定传输前后总量是否一致的问题,本文设计开发了迁移进展跟踪程序,通过计算传输的数据总量和传输速度和预计完成时间,提高了对数据迁移的进度把控。最后,完成了整个迁移系统的设计、编码实现与测试,并且开展Oracle数据库与分布式数据库的数据一致性验证。成功验证分布式数据库的数据一致性和准确性。通过本文研究,实现了短时间内迁移海量异构数据到大数据分布式系统,并保证了数据的一致性,研究成果已在广东省交管信息系统成功试运行并验证了可行性,研究内容可为剩余全国省份的分布式数据迁移提供借鉴,以及其他类似系统进行数据迁移提供参考。