基于网格计算的分布式数据管理关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:eeeeeedddddd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,大规模数据共享与协同工作环境已经成为主流应用普遍采用的工作模式。同时,以网格计算为基础的科学活动环境已经成为当前国际计算机技术研究的热点和前沿领域。其中网格数据管理属于网格计算技术的基础架构,并且在一定程度上成为连接以网格计算为基础的科学活动各部分之间的桥梁。但是,当前网格环境下的数据管理存在着管理效率低下、用户体验不友好、数据操作效率不高等诸多问题;同时因为网格系统构建技术而人为制造的技术鸿沟仍然存在,从而造成了新的信息孤岛的出现。因此,针对这些问题,需要对基于网格计算的分布式数据管理中的关键技术进行研究,具体包括元数据管理、数据传输管理、数据的量化评价以及网格间的数据互操作几个方面。   在基于网格计算的分布式数据管理的最大特征是元数据与数据是分开存放的。由于所有的数据操作首先需要对相应元数据信息进行操作,因此元数据管理是构建整个网格环境下透明数据访问的基础,同时它能影响数据操作的执行效率,从而进一步影响整个网格系统的执行效率。为了充分利用数据的空间局部性的特征,可以通过构建一种两层结构的元数据管理方式,并将为实现透明数据访问而设置的两次数据地址转换分别映射到所提出的两层结构(也即数据逻辑域和数据域)中,同时利用数据的空间局限性,使得数据的存放位置不再是随机选择存储资源,而是尽量靠近访问者的位置(也即数据逻辑域中所指定存储资源),从而提高数据访问效率。   单一集中的元数据管理与组织方式难以适应元数据在存储容量以及访问数量方面不断增长的需求。在两层结构的元数据管理方式的基础上,可以通过基于副本的元数据以提高元数据管理的可扩展性,同时在一定程度上提高元数据的可用性。这种基于副本的元数据扩展技术对网格系统中的虚拟数据视图按照其树状结构进行完整、互斥划分,并以此为最小单位对元数据进行复制。同时提出相应的元数据副本创建、读写等操作;并提出一种副本更新策略,用以维护不同元数据副本之间的一致性,从而提高整个系统元数据的可用性。进一步地,通过缓存的方式,将频繁访问的元数据缓存到本地,从而可以进一步提升元数据管理的效率,降低元数据操作的执行时间。   为了提高整个数据管理的效率,需要尽量在现有网络条件下提高数据的传输效率。并行传输是一种常用的提高数据传输效率的方式,但是通常的并行传输方式需要基于数据副本或者数据分片来完成,而这会相应地增加管理成本。另一方面,网格环境中的两点间的网络资源往往并不是唯一的,而是会有冗余链路的存在。基于这种情况,可以通过基于多路径的数据优化传输技术对数据进行并行传输,它在不改变现有网络协议的基础上,通过选择不同的中转节点以形成中转路径而充分利用网络资源中的冗余链路,并将数据通过多条选择出来的中转路径进行并行传输,以达到提高数据传输效率的目的。   相对于庞大的数据尺寸而言,网格环境中高性能的存储资源的存储容量总是有限的,因此需要将那些重要的、访问需求高的数据放置在高端存储资源之上;而那些极少访问的数据则需要迁移至低端存储资源之上。定量的数据评价正是反映数据在当前系统中的重要程度,从而可以为数据的存储资源分配及相关数据管理操作提供量化依据。借鉴经济学领域中的价值规律,可以采用一种定量的数据评价模型,它将影响数据定量评价结构的影响因素分为三个方面,即数据本身属性,数据访问状况及存储设备所能提供的数据访问能力,分别对应价值规律中的商品使用价值、商品需求状况和商品供给能力等商品属性。该量化模型在考虑数据上述三方面特性的基础上,提出了量化模型的具体公式,其结果反映了数据在系统中的重要程度,从而为制定数据存放策略提供参考。另一方面,可以通过改变数据的某些属性而达到调整数据量化结果的目的,而这种改变在实质上就是进行某种数据管理操作,例如数据迁移、数据复制等,因此可以依据该模型进行数据管理操作,实现优化数据管理方式、提高数据及存储资源使用效率等目的。   为了在更大范围内实现数据的共享与协作,同时避免新的信息孤岛的出现,需要构建网格系统间的数据互操作机制,以实现不同网格系统之间的数据相互访问能力。ChinaGrid是在中国网格领域有着重大影响的网格系统;而SRB (Storage Resource Broker)则是一种中间件平台,为通过网格链接异构数据资源提供接口;同时它也可以作为网格环境中用于数据管理的分布式文件系统,可以实现数据缓存、数据同步和备份、异构存储等数据管理功能。由于SRB是一种被众多网格系统广泛采用的数据管理中间件,因此在实现ChinaGrid与SRB两者之间的数据互操作的基础之上,可以实现在ChinaGrid和国际众多主流网格系统的数据互操作功能;同时ChinaGrid与SRB间数据互操作的方法也可用于其它网格数据管理系统与SRB系统的数据互操作中。整个互操作分为ChinaGrid访问SRB数据资源与SRB访问ChinaGrid数据资源两个部分。其中,ChinaGrid访问SRB数据资源方面,采用内建SRB访问接口的方式实现ChinaGrid透明访问SRB数据资源的数据互操作;而SRB访问ChinaGrid数据资源,则将ChinaGrid数据管理看成SRB的一个文件系统,通过建立合符SRB规范的数据访问接口,透明的访问ChinaGrid中的数据资源。通过这样的设置,将分布在异构资源上的数据共享从单个网格系统推广到了多网格系统,从而达到在最大程度上的数据共享的目的。   综上所述,在深入分析网格环境下数据管理以及围绕数据共享与数据协作而展开的科学活动的行为特征与应用需求的基础上,围绕构建透明、高效的网格数据管理服务的目的,通过重点研究网格环境下的元数据管理技术、元数据管理的扩展技术、基于多链路的并行数据传输技术、量化的数据评价模型以及多网格环境下的数据互操作技术等关键技术,为解决网格环境下的数据管理问题提供了一系列技术方法和措施。
其他文献
无线MESH网络(WMN),是一种与传统无线网络完全不同的新型无线网络。由于WMN不需要中心节点的支持,网络中的每个无线设备同时可以作为用户节点和中转节点,并通过多跳的方式经
互联网技术的快速发展,推动了各种社交平台应用的繁荣,形成了庞大的社会网络系统。对社会网络进行研究,挖掘网络中的社团结构,能够让人们更深入地了解社会网络系统。早期的研
经过了多年的信息化工作后,大部分企业都已经在企业内部实施了ERP等管理系统。这些内部系统管理着企业内的几乎所有的数据和业务,成为企业运作的载体,是企业的重要资产。随着
网络安全和信息安全问题随着网络应用的普及和企业信息化的发展愈显突出。人们对于网络和信息系统的安全的认识也在不断地提高,从最初的防火墙概念,到入侵检测、漏洞扫描等,
随着计算机网络技术与多媒体技术的迅速发展,越来越多的多媒体产品通过网络的形式发布,使信息的发布和传输变得方便快捷。但数字产品具有极易被非法复制和篡改的特性,任何人
运动目标跟踪和视觉测距是计算机视觉研究的重要课题,在军事视觉制导、机器人视觉导航、医疗诊断和智能交通监视等领域有重要的价值和前景。由于运动目标本身和所处环境的多样
认知无线电作为一种新兴的技术,研究的历史很短,不超过10年时间,但其在解决无线电应用需求与频谱资源稀缺的矛盾上潜力巨大,吸引越来越多的网络研究人员的关注。目前无线网络
在一个执行站内换乘的城市轨交网中,各线路晚间末班车的运营时间没有承接性,经常发生乘客购票后无法经换乘抵达目的站的尴尬情况。随着城市轨交网的规模越来越大,换乘路径的
随着无线通信技术的演进和终端芯片集成度的发展,终端装备有多个网络接口已经成为一种趋势,异构网络环境下的多连接技术成为了新的研究热点。多连接技术的研究目标是通过多个
随着互联网技术的发展,网络英语教学系统应运而生并快速发展起来。现在网络上流行的在线学习系统各式各样,其基本的功能大体一致,主要实现大量信息的共享和师生的在线交流。