面向高性能计算机的分布式文件系统客户端缓存优化技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:camel1650
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代背景下,高性能应用与大数据紧密结合,来自科研领域应用的观测、实验和测试等方面的数据量迅速增加,高性能应用规模不断增大。应用普遍需要进行高强度的数据I/O,使得高性能计算应用的I/O需求快速增长,对高性能计算机存储子系统提出了高并行、高带宽、低延迟和超大容量的需求,存储系统正面临严峻的I/O压力。缓存技术是减轻高性能计算机系统I/O瓶颈的经典技术,为缓解分布式文件系统客户端I/O性能瓶颈,提升高性能计算机存储系统客户端在处理典型高性能应用时的性能,提出利用分布式文件系统客户端节点的空闲内存构建客户端缓存,并利用高性能计算机支持RDMA数据传输的机制对客户端缓存进一步优化,同时针对典型高性能应用的I/O特性优化缓存一致性策略与元数据访问机制。论文主要有以下几部分研究工作:(1)设计并实现分布式混合存储系统客户端缓存,通过对高性能计算机节点空闲内存资源进行组织管理构建客户端缓存,通过预读、写回优化客户端I/O性能。(2)利用高性能计算机支持RDMA数据传输机制,研究客户端缓存与RDMA缓存统一管理,避免数据I/O时在客户端内部多次内存拷贝,从而做到在高效利用空闲内存的同时提升用户程序的执行性能。(3)研究客户端缓存的一致性策略以及元数据优化策略,针对TH-1A上典型高性能应用的访问特性,实现一种阶段性一致性策略对客户端缓存的性能进行优化,并通过客户端元数据缓存对读性能进行优化。(4)将系统部署到TH-1A高性能计算机计算节点上,通过基准测试程序和典型的I/O密集型应用测试客户端I/O性能,并对测试结果进行深入分析。测试结果表明,本文实现的客户端缓存机制能够大幅提升客户端的I/O性能。
其他文献
鉴于现代计算机技术的飞速发展,越来越多的自然场景图片被收集并分析,用于军事领域,科学研究以及与目标检测相关的计算机视觉领域。但是,这些收集到的图片清晰度会受到雨雾天
在通信对抗装备研制、训练过程中,要对语音通信进行干扰效果评估。由于主观评估费时费力,本文针对语音质量客观评估进行研究,主要工作和创新点如下:(1)构建语音库构建原始语
无论从历时、空间的维度来观照,齐鲁经学在汉代经学中都具有举足轻重的地位与作用,可谓汉代经学的起源、开端与总汇。一方面,齐鲁经学源于齐鲁文化,两种不同的学术风格,与齐
杏北油田长期注水以及聚驱开发,各个储层含水率差异较大,即便是高含水井也存在相当规模的含水较低且有一定储量潜力的油层,尤其是由于油层污染而低效的油井存在较为丰富的剩
量子计算是基于量子力学特性,也就是利用了量子态的叠加和纠缠性质的一种新型计算手段,其能调控量子信息单元进行计算,是当前世界科技前沿的研究热点之一。量子计算的优越性
大规模MIMO系统是当前5G研究的重点内容之一。目前关于大规模MIMO系统能效优化问题的研究大多是基于全精度ADC量化展开的,但是随着无线通信中业务量的剧增,使用全精度ADC量化
随着现代科学技术的发展,现实场景对于通信系统提出了更高的技术要求,但受限于有限的频谱资源,现代通信系统只能通过努力提升滤波器的性能来达到更高的频谱利用率,从而满足复
说话人确认技术能够通过语音来判断其所属说话人的身份。目前,基于深度神经网络(deep neural networks,DNN)的方法可以取得较为理想的性能,但仍然存在一些亟待解决问题。具体
近年来深度学习逐渐成为信息科学领域的研究热点,而随着基于深度学习方法的研究技术的不断推进,数据特征信息的提取和处理效率获得了极大的提升,同时也推动了深度学习在计算
我国铁路高速发展,成为货物运输和旅客出行的首要选择,然而列车长期运行对钢轨磨损较为严重,钢轨质量直接影响列车的运行安全,所以定期对钢轨检查可以及时发现问题,降低风险