基于Key-Value的大容量SSD闪存转换层的研究与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:george_zg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机技术发展和互联网的普及,使得当代社会充满了数字化信息。处理器技术的发展带来了计算性能的显著提高,同时存储技术研究方面的突破为海量数据存储提供了基础的硬件保证。IDC调查显示,计算机的性能和数据量都在按照摩尔定律增长。随着数据密集型的应用出现和大数据时代的到临,数据量已达到PB级别。超大容量数据对于存储器的容量和速度都提出了更高的要求,还包括存取性能、寿命、可靠性和带宽。传统的存储体系结构中往往采用磁盘阵列,但由于其内部的机械装置的限制,其在读取速度、数据传输带宽、性能、功耗等方面的缺陷在处理海量数据时是一个无可避免的瓶颈。大数据时代,存储子系统对计算机整体性能发展的制约越来越明显,传统的磁盘阵列存储系统在读写性能、带宽、功耗等各个方面都无法满足日益增长的需求。如何基于新型的存储技术来提升整个存储阵列的性能已经成为了热点研究问题。基于此种需求,出现了大批以闪存(NAND flash)、相变存储(PCM)、磁阻式随机存储器(MRAM)、铁电随机存储器(FRAM)、忆阻器(RRAM)等为代表的新型存储介质。其中基于闪存阵列的固态硬盘以其价格低、带宽高、读写速度快、非易失、低功耗等特点在许多方面都较传统磁盘占优势。但是由于闪存本身存在着非本地更新的存储特性,区别于传统磁盘,传统的闪存转换层为实现地址转换需要利用闪存转换层进行地址动态映射,以便使固态硬盘的表现与磁盘相同。使用固态硬盘SSD组成的大规模存储阵列子系统,能够满足大规模阵列的带宽要求。但是由于其内部的闪存转换层存在的设计上的缺陷,导致其无法满足应用的读写性能需求,同时极大的损耗SSD的寿命。随着3D TLC/QLC NAND闪存的出现,基于闪存的SSD的容量正在迅速增长,从数百GB到数十TB。因此,这样一个大型SSD中的Flash转换层(FTL)面临着以前从未出现过的严重问题。传统的闪存转换层机制采用粗粒度映射单位,从而生成小的映射表使其完全存储在DRAM中,或者是采用细粒度映射单位,但是只能根据工作负载中的局部性信息在DRAM中保存一部分频繁访问的映射项。通过分析,上述两种策略都不适合于大容量的固态硬盘。首先,大型SSD引入了比以往更多的映射条目,即使是粗粒度映射机制也不能产生一个足够紧凑的映射表来完全保存在DRAM中。其次,大型SSD倾向于部署在数据中心,以便在各种应用背景下的大量用户提供IO请求,这些IO请求表现出较弱的空间和时间地点。结果,在DRAM中保存频繁访问的映射信息的方法对于大规模SSD也是不切实际的。在本文中,我们提出了一种用于大规模SSD的新型KV-FTL方法,其主要通过简单的哈希函数将逻辑地址映射到物理地址,同时以传统方式处理哈希冲突和不适当的数据更新,如映射表。我们提出的KV-FTL能够避免从闪存芯片中频繁的加载到嵌入式DRAM中来加快地址转换速率,从而提高读写性能,同时较小的地址映射表意味着减少映射项更新操作数目,从而延长SSD的使用寿命。据我们所知,这是FTL设计中第一次应用键值原则。本文主要对大规模的基于闪存阵列的固态硬盘的基于Key-Value的闪存转换层进行了研究与实现,主要工作如下:首先,本文研究了闪存的存储特性、固态硬盘内部结构,同时针对当前闪存转换层机制的研究现状进行了详细的调研。提出本研究课题的研究背景与研究动机,明确需要解决的问题。其次,针对目前闪存转换层存在的读写性能低,寿命缩减大的问题,结合当前针对Key-Value存储数据库的研究,结合键值思想,设计一种新型的针对大规模闪存固态盘的闪存转换层机制,并提出其设计理念,描述其设计架构。针对其运行机制、使用技术、相应算法进行详细说明。再次,本文对当前的闪存转换层机制对于固态硬盘的并行性的研究,提出对于所提出的体系结构的优化-利用SSD内部的通道级并行性。最后,本文研究了当前主流键值存储系统的发展趋势,重点分析了优化关键点以及所使用的相应技术,并根据此提出未来研究的展望。同时,本文以[51]中为原型,在此基础上进行架构实现,设计实现了针对大容量SSD以及相应的基于键值的闪存转换层的实现。实验方面,根据美光Micron一款市场发布的SSD(1TB大小,具有512MB内存)进行配置,就权威的Trace进行读写性能分析。KV-FTL能够最多延长SSD寿命18.7%,平均延长13.6%;同时读性能提升范围为18.4%到13.6%,在运用优化机制之后,平均提升39%。对于十分紧凑的请求,可以平均提高访问性能(读写性能)达47%。
其他文献
氮掺杂的石墨烯本身具有良好的电化学性能,制备的微球结构因具有大比表面积,电催化性能更加优异,作为超级电容器电极材料具有广泛的应用前景。旋转圆盘电极是测量材料电化学本征反应速率的一种常用方法,通过旋转运动产生的强迫对流,可在一定范围内消除浓差极化。然而采用经典电极动力学模型(Koutecky-Levich公式)得到的反应速率仍然受传质过程影响。且氮掺杂的石墨烯微球电极并非传统的平板电极,表面的多级孔
序列模式挖掘问题,由于其在实践中广泛的应用,已引起学术界的持续关注。虽然目前已经有一些序列模式挖掘算法,但因为它们需要多次扫描整个数据库,所以效率相对较低,并且大多数算法都没有考虑到时间因素对序列模式挖掘的影响,它们并不能对有时间限制要求的序列模式进行出现频率的统计和挖掘。在对各个序列模式的出现频率进行统计的算法中,ONCE算法可以在只扫描一次数据库的情况下,统计出带有时间约束的序列模式在序列流中
现今,越来越多超级抗药细菌的出现对人类的健康产生了严重的威胁。面对众多的多重抗药致病菌,单靠开发新药的传统方法是远远不够的,我们亟需新的策略。因此,近年来人们开始关注细菌耐药性的分子机理,希望以此找到新的突破点。我们前期的研究表明,大肠杆菌(Escherichia coli)YihE激酶是细胞程序性死亡途径的关键调控因子,在抗生素处理细菌时能起到保护细菌的作用。然而,YihE激酶的细胞通路及其在细
随着2012年AlexNet的横空出世,运用卷积神经网络的深度学习方法逐渐成为了的图像处理的热门方向,并且已经有许多实用部署。而包括当前最主要的部署平台GPU在内的各种神经网络
寡孢节丛孢(Arthrobobrys oligospora)是一种典型的捕食线虫真菌,通过产生特殊的捕食器官-三维菌网(three-dimensional networks)来捕捉和侵染线虫,寡孢节丛孢是研究真菌与线虫相互作用的代表性菌株。钙离子/钙调素依赖的蛋白激酶(Ca2+/calmodulin-dependent kinases,CaMKs)是一类重要的多功能信号蛋白,位于G蛋白信号的下游,
近些年来,生成超短激光脉冲的技术不断发展,于此同时,也越来越需要对这种激光脉冲和等离子体相互作用进行动力学描述。Particle-In-Cell方法是一种在等离子体物理中研究充能
现代电子侦察、电子对抗及电磁遥感等领域对电磁波极化信息获取的纯度提出了越来越高的要求。天线极化规律的准确表征与分析,对提高发射、接收天线的极化纯度、削弱交叉极化的干扰具有重要意义。然而,天线在加工、安装及服役阶段会引入各种类型误差,严重恶化了天线的极化性能。本文分析了共形微带天线加工制造、安装、服役过程中误差的来源,对误差进行多尺度划分。利用紧密堆积雪球模型,建立包含铜箔表面粗糙度的小尺度误差模型
分支预测器是现代超标量多核处理器的重要组成部件,提高分支预测器的预测准确率能减少错误预测惩罚所带来的延迟从而增加流水线的吞吐率。即便是较小的分支预测准率的提升,在
如今计算机学科领域急速发展,不但有前沿的模型算法不断出现,相关模型和算法的落地速度也随之加速。在现有的数据挖掘框架帮助下,数据挖掘算法能快速地应用在实际的问题上。然而大多数情境下,用户并不能有效地利用这些模型进行数据挖掘,结合CRISP-DM理论分析,其中原因之一是缺乏数据理解的环节,忽略对数据集本身的统计学特征。虽然已有不少的现成的工具可以提供部分数据理解中的数据探索概念工具,但是却无法被有效应
经编金属丝网作为网状可展开反射面天线的关键材料,被铺设于支撑索网结构之上,用来达到反射电磁波的功用。其是利用十微米量级金属丝通过纺织工艺编织而成,线圈相互穿套钩结、走向弯曲多变,故结构形式极为复杂,给三维几何建模及力学性能分析带来极大困难。因而,目前其研制方式多为沿用纺织行业花型与工艺首先进行材料试制,然后展开力学性能测试,进而进行工艺优选。这种方式研制周期长,往往带来人力和成本的大量浪费。迫切需