混合云存储数据迁移技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wulizhu11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
混合云存储作为一种新型的数据存储模式,特别是随着大数据浪潮的到来,这一新型的数据存储模式已经逐渐被各行各业所接受、所使用。虽然这种存储模式看来潜力无限,但在实际使用过程中,发现现有混合云存储系统在数据迁移设计与实现方面存在不足,存在私有云利用率不高等问题。针对现有混合云存储在数据迁移方面所面临的问题,本文结合混合云存储具体使用场景提出了一种新的数据迁移技术。该数据迁移技术采用NRU(最近未使用)和LFU(最近不经常使用)这一算法组合来快速高效区分私有云中的冷热数据;考虑到私有云写入写出性能差距以及公私有云之间数据迁移特点,本技术设置了数据迁移阈值、冷热数据区分阈值以及数据迁移下限阈值这三个阈值来对私有云何时发生数据迁移操作、何时进行冷热数据区分以及数据迁移量做了一个量化操作;同时为更好地选择冷数据集,本文采用了一个局部冷热数据选择算法,在保证数据迁移量的前提下,尽可能多的将某一局部冷数据迁移到公有云上,以减少后期数据迁移操作次数,进而提高数据迁移效率;为选择性能更好的公有云,通过采用多线程和上传/下载小文件方式,实时动态监控各个公有云性能,为混合云存储数据迁移提供性能良好的公有云。采用模拟文件系统测试方法对系统相关性能进行测试,经过测试发现本文采用的数据迁移技术跟现有一些数据迁移技术相比,在保证用户存储需求的同时,不但提升了10%-20%的系统性能,而且也降低了20%左右的存储成本。
其他文献
图像压缩的目的是在保证一定的图像质量和满足任务要求的条件下,减少原始图像数据量,它可归结为一个复杂的优化问题。进化算法是解决复杂优化的有效手段,它属于进化计算应用
随着信息技术的进步和Internet网络技术的飞速发展,DL(DigitalLibrary,数字图书馆)应运而生。数字图书馆改变了以往信息存储、加工、管理、使用的传统方式,借助网络环境和高
随着手机的普及以及手机中传感器的多样化,手机传感器产生了大量的无意识数据,基于这些传感器数据的关系推断在模式识别以及普适计算领域逐渐成为一个热点研究问题。现有的基
现代化的武器装备在性能提高的同时,其复杂性也在日益增加,出现故障时的修复工作复杂性很高。武器的应用场景是战场,一旦出现故障,需要能够在现场及时修复。而战场环境中武器分布
随着互联网的发展,人们对于网络服务质量的要求越来越高,传统网络应用客户/服务器构架很难支撑起巨大的用户数量。对等网络极大的扩充了服务的外延,挖掘边缘网络上的资源,让
随着网络和智能设备的不断发展,互联网上的信息也越来越丰富和多样,人们可以在网络上获得各种各样的信息和服务,同时人们逐渐发现要在网上找到符合自己需求的东西也越来越麻
虚拟现实技术又称灵境技术,它是二十世纪末才兴起的一门崭新的综合性信息技术,它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支,从而大大推进了
分布式文件系统有效地解决了数据的存储和管理的难题,但却面临多用户并发访问数据的一致性问题,分布式锁机制为不同客户端正确访问服务器上的数据提供了保障。在多客户端同时
银行管理数据提取平台是根据银行工作的标准化、服务化、信息化、网络化、而建立的一种管理信息系统。银行的数据管理对象是金融行业大量的、随时更新的又需要高度保密的数据
有限单元法是一种有效的数值分析方法,是计算机辅助工程(CAE)的重要组成部分。随着工程问题复杂度的逐渐增加,CAD/CAE建模方法也在不断地发展。逆向工程是近几年发展起来的一种