基于热度感知的海量数据存储模型研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:hzz118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代来临,海量数据的存储对当前计算机存储和处理能力提出了巨大的挑战。并行计算、云计算等技术日渐成熟,处理器性能显著提高使得计算机的信息处理能力足够强大,但计算机存储系统性能并没有多大的提高,传统DRAM主存集成度低、与二级存储之间性能差距较大。相变存储器(Phase Change Memory,PCM)因为其高密度、非易失性等特点为计算机存储体系带来了技术变革,但PCM读写不对称、写寿命有限等原因导致其无法普及,因此将两者混合共同构建混合主存系统成为当前主流的研究方向。同时因为主存与二级存储之间的性能差距仍无法避免,因此将SSD和HDD混合构建辅存系统成为解决该问题的有效方法。本文利用DRAM和PCM构建混合主存,SSD和HDD构建辅存,以此来共同搭建一个混合存储系统,针对混合主存中的命中率和PCM的写寿命,研究页面管理算法;并针对混合辅存中的I/O延迟,研究页面迁移策略。主要内容包括:1.基于热度感知的页面划分管理方法。研究PCM&DRAM的同级混合主存架构,在此基础上提出一种基于热度感知的页面划分管理方法,采用与传统CLOCK算法相似的工作机制来保证系统的命中率,引入最近两次的写距离概念并结合页面历史信息对页面的冷热性进行准确的判断,设计页面的迁移管理机制,通过写clock链表对页面的写热度进行动态跟踪,将热写页迁移到DRAM中,减少PCM的写次数进而提高PCM的寿命。最后通过仿真实验加以验证,本方法在保证命中率的同时,PCM上的写次数平均减少约9.5%。2.基于热度的代价迁移策略。在混合内存的基础上对辅存进行研究,提出一种基于I/O代价计算的迁移策略。引入传统的冷热概念对数据的热度进行划分,在此基础上加入一个过渡状态,使得页面需要连续两次相同的操作才能将其从热页变为冷页。同时引入页面定位倾向的概念,设计迁移策略,通过统计页面存储在不同介质上的I/O代价来决定页面的存储位置。通过搭建GEM5+NVMain+Disksim+Flashsim仿真平台,评估系统性能。实验表明,本策略能够有效的降低I/O延迟,降低系统的运行时间约12.8%。
其他文献
在三网融合需求的促进作用下,中国国家新闻出版广电总局提出了下一代广播电视网(Next Generation Broadcasting Network,NGB)的概念,使用有线电视网络实现广播电视网、电信网
随着计算机和数字图像处理技术的迅速发展,基于计算机视觉的智能监控已逐渐应用到公共安全、智能交通、军事、工业检测等领域,而视频中的运动目标检测与跟踪是智能监控研究中
由于互联网的普及以及信息科技的高速发展,云计算产业也迅速发展,其典型特征是“按需服务,按量付费”。要保证服务质量,任务调度是关键。一个调度策略的好坏直接影响用户满意
随着多媒体设备、互联网以及云计算等技术的迅速发展与普及,信息社会进入了大数据时代。文本、图像、视频、音频等来源广泛、形式多样的多媒体数据作为信息传播的载体,蕴含着
随着云计算与大数据技术的骤速发展,数据的存储问题得到了越来越多的重视。用户通过按需付费的方式向云存储提供商购买存储服务。因此,具有高可靠性、低成本、自动容错等特点
在公开的互联网中传输信息很容易受到窃取或者破坏,尤其是涉及到相关领域的核心数据时,就会带来巨大的安全隐患,数字水印技术在维护数字产品版权等领域发挥了巨大的作用。传
随着软件的不断发展,软件测试的重要性逐步显现。回归测试作为软件生命周期的一个组成部分,在整个软件开发的过程中占有相当大的比重。软件在开发过程中会进行多次回归测试,
大数据是信息时代的里程碑,正在以巨大的能量推动着人类社会的深刻变革。随着信息技术的跨越式发展,尤其是互联网和电子存储技术,使得人类与大数据的关系更加紧密。在大数据
对比序列模式挖掘是数据挖掘中的重要课题之一,在实际应用中具有非常高价值。对比序列模式挖掘旨在从具有类标签的序列数据中挖掘出具有明显差别的序列模式。近年来各种各样
传统的X射线探测器结构复杂,成本高,而基于CMOS传感器的解决方案欲求通过X射线的灰度值得出辐射剂量,而灰度值和辐射剂量之间的关系是未知的,因此本文设计和实现了一个基于FP