面向数据密集型应用的存储策略研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:viggb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和信息收集技术的发展,网络中的数据量呈爆炸式增长,依赖于海量数据的数据密集型应用也层出不穷。现今数据密集型应用已在科学计算、互联网数据处理、网络媒体处理等领域受到广泛关注。数据的存储管理直接关系到数据密集型应用的性能,因而成为当前的重要研究内容。   随着云计算概念和架构的逐渐清晰,云计算平台已经成为数据集密集型应用的首选部署平台。在云计算环境下,数据密集型应用的数据集与多个工作流有依赖关系,往往需要跨数据中心的数据处理。当前对存储策略的研究主要以减少数据中心之间的流量为目标,较少考虑费用的消耗问题和多副本因素。与此同时,作为遗留应用,传统的数据密集型应用仍然将数据存储在单数据中心上,并采用分布式的存储系统架构。由于单数据中心内部有高速网络连接,此时的存储策略主要考虑系统的容错性和吞吐能力,以及多副本放置问题。   针对上述问题,本文分别对云计算环境和传统存储环境下的数据密集型应用的存储策略开展了研究,具体工作包括:   1)在云计算环境下,提出一种以减小费用消耗为目标的数据密集型应用的数据存储模型,分别提出基于最大流的数据存储策略和基于副本创建的数据存储策略。基于最大流的数据存储策略将云计算环境下的数据存储的费用消耗问题转为带有代价的网络流问题,利用数据存储的特性求解存储部署的最小费用。基于副本创建的策略则是在最大流策略上考虑了副本因素,进一步降低了应用的存储部署代价。   2)在单数据中心的存储环境下,本文完善了分布式存储系统LandHouse的架构,并根据Peterson存储环的特性,提出了一种基于纠删码的数据分块策略以及相应的负载均衡算法来提高存储系统的容错性和吞吐量。   3)本文分别对两种环境下的策略进行了实验。对云计算环境下的存储问题,实验结果证明本文提出的策略有效地减少了数据密集型应用的费用消耗。对于单数据中心,实验证明本文提出的数据分块策略和负载均衡算法有效的提高了系统的容错性和吞吐量。   “大数据”的存储和处理是当前的热门研究课题,本文的工作可以为该方向的研究提供有益的借鉴。
其他文献
硫浮选是湿法炼锌直接浸出工艺中的一个重要的流程,有利于回收利用浸出渣中的单质硫。硫浮选过程是一个无需添加任何药剂的物理过程,通过合理地调节相应的操作量(鼓风量,阀门
随着互联网的普及以及互联网基础设施的不断完善,网络视频逐步成为网民的主要应用服务之一。面对海量用户环境,需要在现有视频资源环境下设计一种新型的视频业务网络结构以保障
近年来,国内外工程岩体灾害频发,造成了重大人员伤亡与经济损失。声发射技术是一种新型动态的无损检测技术,且对被检材料的要求较低。采用该技术检测岩石类材料的内部损伤状况有
近年来,数字图像处理技术在矿物浮选过程中得到了广泛的研究与应用。浮选泡沫表面状态信息与浮选生产状况、经济指标之间密切相关,通常不同的浮选工况,泡沫表面纹理深浅、清
竞赛终点摄像计时系统由于其快捷准确、公平性高等特点被广泛的应用在国内外大型运动赛事上.现有的竞赛终点摄像计时系统的成绩判读过程主要于依赖于终点裁判的人工判读,在比
棉浆粕是以棉短绒为原料,经过传统的造纸工艺而生产出来的一种浆粕。在生产过程中,棉浆粕中的水分是一个非常重要的因素,它影响着棉浆粕的质量、存储和运输。目前国内棉浆粕的生
无线传感器网络(Wireless Sensor Network,WSN)是由成百上千的微型、廉价传感器节点组成的大规模、无基础设施无线网络,在军事、环境监测、医疗救护等领域有着广阔的应用前景。但
本课题任务源于某科研单位的“复合材料构件静力加载系统研制技术要求”。电液伺服静力加载系统是静力试验的重要装置之一,用于为产品或结构件施加外载荷,以检验产品结构强度
随着无线网络技术的迅速发展,3G网络在全球范围内部署和运营,用户对移动流媒体应用的需求与日俱增。在这种背景下,与流媒体应用相关的技术研究日益成为学者们关注的焦点。本文以
磁共振模式无线电能传输技术通过在传统感应模式的基础上增加两个高Q值的共振线圈来实现电能的中尺度传输,解决了传统感应模式只能小尺度传输电能的弊端,具有广阔的应用前景。