【摘 要】
：
数据压缩技术能够提升系统的I/O性能和存储空间的利用率,但是当应用在文件系统和应用层时,对于系统的修改十分复杂,不利于灵活部署。VDO（Virtual Data Optimizer）是一种块层数据压缩技术,作为Linux中的内核模块,在块层提供对上层系统的透明压缩,从而可以灵活地应用于各种场景。本文对VDO技术进行了调研,总结出其设计中存在的问题:（1）块层数据压缩需要使用拼装技术进行数据对齐,使
论文部分内容阅读
数据压缩技术能够提升系统的I/O性能和存储空间的利用率,但是当应用在文件系统和应用层时,对于系统的修改十分复杂,不利于灵活部署。VDO（Virtual Data Optimizer）是一种块层数据压缩技术,作为Linux中的内核模块,在块层提供对上层系统的透明压缩,从而可以灵活地应用于各种场景。本文对VDO技术进行了调研,总结出其设计中存在的问题:（1）块层数据压缩需要使用拼装技术进行数据对齐,使用低压缩率的算法难以发挥其功效;（2）高压缩率的算法对于CPU计算资源有大量消耗,软件算法库难以支撑其运行。先前的研究通常集中于使用通用硬件实现高压缩率算法,而以Intel的QAT（Quick Assist Technology）技术为代表的专用硬件与之相比,拥有更高的效率和更低的能耗。但是将QAT硬件技术引入到VDO技术中,会遇到三个挑战,即:（1）压缩模块不支持多种算法的选择,需要进行算法的管理;（2）压缩逻辑中的同步机制与QAT硬件不适配,需要引入异步交互机制;（3）拼装模块仅使用一个拼装器影响效率,需要进行并行化的扩展等等。本文提出了QVDO（QAT accelerated VDO）块层数据压缩技术,将QAT专用硬件技术集成到VDO技术之中,使用硬件实现的ZLIB高压缩率算法,提供对上层系统透明且高效的块层数据压缩。在QVDO系统的设计中,本文主要对三个模块进行了设计与优化:（1）在压缩模块中引入了算法控制器,使其可以支持多种压缩算法的选择,并提供了异常处理机制,使其在硬件出现异常时也能够提供数据压缩和解压缩服务,从而提高了系统的可扩展性和可用性。（2）实现了QAT硬件交互模块,通过异步交互机制,让调用子程序和回调子程序分别执行数据的发送和接收工作,并设计了内存管理机制进行内存的分配与释放,以及上下文信息传递机制防止信息丢失,从而保障了系统的安全运行,进而高效地利用QAT硬件加速器进行ZLIB算法的数据压缩。（3）在拼装模块中使用并行处理机制,通过数据分发器将待处理的压缩片段分发到多个拼装器分别执行拼装工作,并通过拼装检测器检测压缩效果,从而加快拼装流程,提高系统的运行效率。本文利用Calgary等数据集和FIO工具验证了,QVDO系统与原先的VDO系统相比,压缩率最高可以提升至1.93倍,读写吞吐量可以分别提升至1.23倍和1.71倍,CPU占用率平均下降19%。本文将QVDO系统搭建在Ceph存储系统中,利用Filebench进行宏观测试,验证了QVDO系统在运行文件服务器等应用程序时,吞吐量可以提高至1.1倍,表现良好。
其他文献
随着技术的发展进步,显示设备的性能逐步提高,除了分辨率和色彩丰富度的提高,也表现在刷新率的显著提高。而电子显示屏显示动态影像的原理与人眼的视觉融合及视觉暂留效应是紧密联系的,当快速变化的静态图像达到一定的变化频率,人眼看到的画面就会产生动态感,这个频率在通常情况下是60Hz左右。目前的高端商业显示器的刷新率已经可以达到144Hz甚至更高,而更高的刷新率除了可以给观看者带来比以往更流畅的观看体验之外
场景的三维重建技术是计算机视觉和定位导航的重要研究课题,使用该技术可以获得物体的3D轮廓,也能获取轮廓上任意点的坐标。随着视觉导航技术的不断发展,人们对使用计算机模拟现实世界的三维场景越来越感兴趣,对三维重建技术的要求越来越高。基于单幅图像的三维重建是三维重建中一个重要的研究方向,重建过程中的主要困难是信息的不充分性,但由于其重建效率高、成本低廉,在虚拟现实、大型场景重建、城市数字化和文物恢复等领
咬肌肥大是指单侧或双侧咬肌的无症状扩大,通常会导致方形的下颌面轮廓,在亚洲人的审美中一般认为这是不美观的。在人们对美的要求普遍越来越高的今天,针对咬肌的A型肉毒杆菌毒素（BoNT-A）注射疗法由于它的低侵入性以及对咬肌肥大良好的治疗效果已经在亚洲得到了广泛的临床应用。然而,如今主流的BoNT-A咬肌注射技术基本是从临床实践中总结而来,尚未有研究基于解剖结构信息对咬肌注射技术进行统计学上可信的定量评
民营航空行业的IT信息化系统相对比较传统。但对于安全性和稳定性的要求非常高以至于航空行业的系统架构变化很小。很多企业仍然沿用着许多年前的技术方案。而当今人们对出行的需求日益旺盛,也更加注重出行效率和出行体验。用户的需求变化快、种类多,这种现状就要求公司要有快速、高效的软件交付能力用以支撑业务的快速发展。目前单体架构模式的系统已经成为了业务持续增长的瓶颈。从提出需求到最终上线往往需要耗费大量的时间,
近年来,随着国家天网工程的建设和人民对公共安全的关心,行人重识别技术被广泛应用在视频监控,智慧安防,刑事侦查等领域。迫切的实际需求使得行人重识别技术发展迅猛,其中基于视频的行人重识别含有更丰富的语义信息和运动信息,逐渐受到更多研究者的关注。在针对表观特征学习的视频行人重识别研究中,将行人序列映射为单一的总体特征是其关键。平均池化或循环神经网络是最经典的聚合所有单帧特征的方法。但是,它们往往很难处理
图像分割是图像处理技术中的重要内容,在数字图像技术快速发展和日益普及的今天具有非常重要的意义和作用。交互式图像分割指提取用户的交互信息,结合图像包含的特征,对图像中用户感兴趣的目标和区域进行提取的一种技术,是图像分割技术的延伸和拓展,具有广阔的应用前景。分割结果的好坏和执行效率对于后续图像处理的质量具有决定性的影响。交互式图像分割技术经历了长期发展,积累了众多理论和方法。本文对这些方法进行了调研和
万物互联是未来社会的趋势,其基础是蜂窝网技术与物联网技术的结合与应用。对于物联网节点,不仅要求其能够形成信息传输网络,而且还应具有对所连物体进行定位的功能。因此,本文把研究目标确定为:借助5G宽带信号,并将其与NB-Io T窄带信号融合,辅以其他合适的传感器,可以实现高精度定位,从而拓展物联网的应用。算法研究是本文工作的重点之一。论文研究了基于阵列天线的入射角估计（DOA）算法,重点研究了MUSI
近几年,无人机视觉检测的应用场景越来越广泛。随着应用的深入,对视觉检测图像质量要求越来越高。但是在曝光时间内无人机平台与检测目标之间存在相对运动,拍摄的图像因运动模糊导致质量下降而影响目标识别与测量精度。使用高精稳像设备能抑制高频振动的影响,但难以解决有气流扰动时出现的图像模糊问题。鉴于此,本文主要针对无人机路面检测研究视觉图像运动模糊复原方法。本文的主要工作如下:1)运动模糊的模型建立。本文首先
氧化锌纳米棒阵列宏观体在能源、环保、传感等领域应用前景广阔。大量实验研究表明,氧化锌纳米棒的表面形貌与单体结构对其理化性质有着显著影响,然而,由于其复杂性,目前尚缺乏批量化、自动化测量氧化锌纳米棒宏观体基本结构特征的高效方法,这极大阻碍了利用理论方法量化地处理实际问题。当前,表征氧化锌纳米材料表面形貌和基本结构特征的主要方法是扫描电镜二次电子成像,国内外图像处理技术在纳米结构电子像的应用中主要针对
气膜冷却孔是提升航空发动机效率、可靠性及耐高温性能的关键,气膜冷却效果受气膜孔轴向、孔径及空间分布等几何特征影响较大。但是,由于叶片的铸造偏差、电火花加工误差等因素,部分气膜孔几何特征存在不达标的情况。因此,如何在涡轮叶片的曲面上,对数量多、孔径小、轴线方向多变的气膜孔进行几何特征测量检测,成为了国产航空发动机制造的重点和难点。为此,本文围绕电火花加工涡轮叶片气膜冷却孔几何特征检测技术展开研究,研