海量存储资源管理关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:daimao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的发展,以计算为核心的信息系统正逐步向以数据为核心转移,人们对信息中心的称谓从“计算中心”、“网络中心”到“数据中心”,形象地表明了处理、传输和存储这三个要素在信息设施中的比重随时间而变化的趋势。然而,相比于计算和传输,存储始终是计算机系统的性能瓶颈所在,而海量存储资源管理则是影响存储系统性能的一个重要因素。   围绕网络环境下海量存储资源管理这一主题,分三个方面进行研究。首先,针对海量异构存储资源管理中存储节点数量庞大,设备协议种类繁多,网络构成复杂多样等一系列问题,提出一种使用虚拟化策略进行高效存储管理的方法,并在块级设计实现了带外虚拟化的方案和系统原型。然后,针对原型系统的性能优化问题,提出一种基于任务排队合并的多用户请求调度优化算法。仿真实验表明,该算法可使存储系统的I/O请求响应能力显著提高。最后,将海量存储资源管理的研究背景拓展到广域网环境下,结合广域网中数据的新特性,提出一种集存储管理、元数据管理和文件服务于一体的广域网存储资源管理架构,并建立随机Petri网(Stochastic PetriNets,SPN)模型对其进行了性能分析。   以过往研究工作为基础,经过理论分析与实际研发,取得成果如下。   针对海量异构存储系统中多样的存储资源和复杂的存储网络构成,提出一种使用虚拟化策略进行高效存储管理的方法。对海量异构存储资源进行规范化描述,以支持海量异构存储资源的发现、资源信息的维护和资源状态的监测,形成在这些存储资源上进行虚拟化管理的基础。在块级设计实现带外虚拟化的方案,实现对应用和管理透明的统一存储池模型;在文件级研制对应用透明的存储访问代理、提出一种命名空间聚合和重定向技术,进而综合上述方法实现对海量异构存储资源的统一管理与访问。针对实际应用环境中存储资源管理机制高度复杂化的挑战,提出一种使用虚拟化策略进行高效管理的方法,使用开放式的虚拟化策略语言和相关软件联动实现所管理存储资源的动态、按需分配。   I/O 请求调度算法的优劣是影响存储系统性能的一个重要因素。针对多用户I/O请求的特征,提出一种基于任务排队合并的多用户请求调度优化算法。通过对多个网络用户的I/O 请求任务进行排队,使排队后各I/O 请求的数据在逻辑盘上按一定的顺序分布,并对那些数据分布连续的用户请求进行任务合并,那么排队合并后进行数据访问,可以使磁盘的磁头臂按照一定的规律移动,使寻道时间和旋转延迟显著减小,从而降低请求的平均响应时间,提高存储系统的整体I/O 性能。另一方面,该算法将“任务排队合并”和“插队”机制相结合,兼顾了系统的高性能和单个请求的响应时间,消除了“饥饿”现象。   以IPv6 为代表的下一代互联网极大地扩展了网络用户,不仅对数据的需求多种多样,而且在可用性、可扩展性、可维护性、安全性等方面提出了更高的要求,同时要求信息在产生、发布、共享和传播的过程中能有效利用。针对下一代互联网的这些特点,对存储系统的存储管理、元数据管理、存储空间的高效利用、数据的快速传递等问题进行研究,构建了一种面向下一代互联网的广域网存储管理架构。广域网存储管理架构采用了多层次、可扩展的分布式存储模式,将多种异构的存储子系统作为基本的存储节点通过网络接口直接接入下一代互联网,建立存储节点与用户间的直接数据传输,实现扩容与增速同步,保证服务器与存储节点、存储节点与存储节点间高效的控制和数据管理。其存储管理遵循SMI-S的管理规范,可以在广域网存储系统中提供标准化的通信方式。智能化的元数据管理方法,保证了存储系统的服务质量和存储空间的高效利用。创新性的设计了广域网存储中间件,来处理复杂网络环境下的数据传输问题,兼顾了广域网数据传输的高速和安全。
其他文献
在当今信息时代,网络已经成为人们获取各种信息的主要渠道。其中,网页是承载这些信息的最主要载体。目前,网页数量已经相当庞大,并且每天都还在增长,网页内容也混杂不堪。为了能够
为了提高计算机的智能化程度,在自然语言处理的过程中,加入语义知识的理解是非常必要的。随着日益增长的信息处理需求,如何从海量的语料资源中自动地获取丰富的语义知识,以及
随着计算机技术的发展和互联网技术的进步,企业集成制造趋势越发明显,传统的产品信息表达方式和处理模式已无法适应现代企业的需求。产品信息的交换与共享已不再局限于数据内
基于构件的软件开发方法被视为解决软件危机的现实可行途径,这种方法的前提是需要大量可以使用的元构件,为了解决构件的来源问题,当前互联网涌现了一批构件资源下载网站,但是这些
随着计算机的快速普及,互联网的迅猛发展,各式各样的信息呈爆炸式增加,如何从海量数据中准确、快速地获取用户真正需要的信息成为人们关注的话题。信息抽取的主要目的是将非
数字信号处理器DSP,以其独特的体系结构和高效指令处理,在移动通信、实时图像处理等领域得到了广泛应用。然而,随着信息处理规模的不断增加,仅依靠单DSP系统已经无法适应超大运算
粒子群优化算法(PSO)是最近十年来提出来的一种启发式群智能全局优化进化算法,其基本思想源自于对鸟群觅食行为的模拟,适用于求解非线性、不可微的复杂优化问题,也可应用于组
随着交通行业的飞速发展,交通信息的重要性也越来越明显,人们对于交通信息的关注也越来越高,能够提供更多更有效的交通信息已经越来越重要了。而人们日常生活中最关心的交通
随着记录密度的不断提高,传统的磁记录技术正在面临因超顺磁效应等问题而导致的记录密度极限。为应对超顺磁极限,一种有效的方法就是使用图案化磁介质。通过将记录位隔离开来,图案化介质不仅获得了更高的热稳定性,而且减小了噪声,被认为是未来超高密度磁记录技术的发展方向。预刻蚀-沉积法被认为是在工业生产中最有可能采用的制备图案化介质的方法,然而,由这种方法制备得到的介质的记录性能强烈地依赖于沉积条件——沉积物既
随着社会经济的快速发展,现代建筑的外形变得越来越复杂,为了节约成本、降低设计和建造难度,几何设计方法越来越多地被用于生成、分析和处理模型。在本文中,我们针对建筑模型