论文部分内容阅读
在日新月异的计算机和通讯设备的发展中,网格这一新兴的基础设施带来了新一片的网络繁荣。它试图联通广域网上的资源,希望在现有技术上建立更高层次的共享。其中数据传输及管理不仅在处理海量数据的数据网格占据着不可撼动的位置,在计算网格、服务网格等领域也有着至关重要的地位,数据高效、可靠、方便的移动和复制关系到整个系统的效率。
另一方面,网格再也不是学术或科学实验里的高性能计算,而是一种面向服务的体系结构,它要解决如何在因特网上提供按需的、有状态的服务的问题,允许用户通过网格技术来共享计算资源、存储资源和其它资源。这就需要提供更直观方便的架构和技术。
结合以上背景,经过对现有几种网络传输协议或机制的比较分析后,本文指出自适应数据传输的必要性,提出了协议自适应的高性能数据传输和管理的解决方案,包括数据传输接口、中间件、软件;数据副本管理;网格数据传输门户等,并分析比较了传输性能。
跨协议的传输接口把不同的协议抽象成统一的协议无关的接口,提供给上层应用方便的数据传输和事件监控等功能。还综合各种因素进行考虑,对传输协议在不同网络状况下可能存在的不足和传输应用的不同场景进行研究,从TCP缓冲区、并行流数目、连接池、多文件传输等多方面尝试改进数据传输的性能。
针对带状传输存在的缺陷,我们建立起数据副本管理体系,使用较好的副本管理和定位选择算法,然后提出并建模分析多副本传输,比较了多种负载平衡策略。多副本传输能很好地适合网格环境的动态性和资源分布性,有效提高网络带宽。
通过高性能数据传输接口我们不仅实现了图形界面传输软件:它是一个跨平台、跨协议的智能数据传输软件,还实现了符合WSRF规范的可靠数据传输中间件——PAFT服务,它支持跨协议的数据传输和简单文件操作,以及数据传输管理网格门户,提供Web方式的访问传输控制和管理。
本文所有的设计、实现和结果在以IBM P690高性能计算机为中心的网格计算实验室中运行并测试通过。