【摘 要】
:
随着移动互联网的高速发展和快速普及,人们逐步进入万物互联的时代,每天都会产生海量的移动数据信息。特别是近些年不断兴起的短视频社交APP和电商APP,这类APP每天都会产生大量的短视频和图片,它们的数据存储空间相对较小,大都在10M左右。然而当前业界的HDFS、GFS等分布式文件存储系统都是针对大文件设计的,在处理海量小文件的时候其性能会急剧下降,甚至无法正常对外提供服务。设计一个海量小文件的存储访
论文部分内容阅读
随着移动互联网的高速发展和快速普及,人们逐步进入万物互联的时代,每天都会产生海量的移动数据信息。特别是近些年不断兴起的短视频社交APP和电商APP,这类APP每天都会产生大量的短视频和图片,它们的数据存储空间相对较小,大都在10M左右。然而当前业界的HDFS、GFS等分布式文件存储系统都是针对大文件设计的,在处理海量小文件的时候其性能会急剧下降,甚至无法正常对外提供服务。设计一个海量小文件的存储访问系统是当前分布式文件系统研究的热点领域。FastDFS是专门针对小文件存储而设计的,本文以FastDFS分布式文件系统作为底层存储系统,提出了一种新的针对海量小文件存储访问优化方法,并对其进行了一系列的优化,主要包括:1)针对当今的短视频社交APP的高并发访问问题,本文提出了一种新的小文件访问负载均衡算法,该算法主要根据后端服务器集群中各个节点的性能来动态地调整其权值,充分考虑后端服务器资源动态使用情况。2)本地文件系统的inode数量有限,存储小文件数量会受到其限制,不能充分利用磁盘空间;本文从短视频APP和电商APP出发,根据短视频文件和商品图片的用户属性对FastDFS的小文件存储过程、合并算法进行改进,将相同属性的小文件合并成一个大文件,达到在访问文件时可以利用磁盘顺序读取方式加快访问速率。3)针对FastDFS记录文件同步过程的缺陷,本文对其进行了优化,通过定期生成检查点文件,然后把检查点文件同步给其它节点,最后结合检查点文件对记录文件进行压缩。针对以上优化方法,本文进行实验仿真。实验结果表明,本文的优化方法在应对高并发写入文件时有11%的性能提升,在读取文件时有25%的性能提升。最后本文实现了基于优化后的分布式海量小文件存储访问系统,可用于存储海量短视频和图片小文件,可以弥补FastDFS的局限性。
其他文献
随着高校招生规模的不断扩大,就业形势严峻,各大高校注重培养创新创业型人才成为首要问题。文章参考大量相关文献阐述了高校在培养学生创新创业能力中遇到的问题和阻碍实施的
本篇英汉交替传译实践报告材料选自播客中的访谈节目《埃斯拉·克莱因秀》(The Ezra Klein Show)。访谈题目为“现代社会使我们变得抑郁吗?”。节目中主持人埃斯拉·克莱因(Ezra Klein)与嘉宾英国作家约翰·哈里(Johann Hari)就导致抑郁和焦虑的社会原因进行了讨论。本次口译实践所选材料主要有两大特点。一、源语内容丰富,逻辑清晰,话语信息密度高,信息结构复杂。二、讲话人语速
展览业扮演着经济纽带的角色。在早期,它是一个传统的商品交易平台。现已发展成为集商品贸易、技术交流、信息沟通发布、企业形象展示为一体的综合性平台。随着中国大陆经济的转型,展览业经济作为一种低投入、高收益、高产出、无污染、效率极高的经济形式,发展得速度越来越快。中国大陆展览业规模不断扩大,竞争日益激烈,只有采用合适的市场营销策略才能保证展会在竞争中具有优势而立于不败之地。R公司上海家居用品展览会自20
委婉语的类别涉及到生、老、病、死、残、穷、性爱、人体的某些部位等各个方面。本文从委婉语的类别、委婉语产生的动机、委婉语的规律和委婉语的构成四个方面对委婉语进行了
中国漆艺历史渊远流长,是一个以漆为主要媒材的艺术门类,漆性美是漆艺的灵魂,源于漆的材料美、工艺美以及艺术美等诸多要素,构建了独特的艺术语言和精神内涵及特质,漆外之人
介绍水轮发电机组在投产调试过程中出现机组振动超标故障,在现场检测方法受限的情况下,采用逐项排除及模糊诊断的原理分析及处理此故障的方法。
本文主要介绍了电力系统继电保护的基本要求及110kV线路常用的距离保护,并对一起110kV线路故障继电保护动作情况进行了分析,并提出了改进方法。
植物是园林景观的主体,由于其季相的变化而形成了园林中美丽的流动风景线。本文作者针对北方的气候特点,提出了如何用植物丰富北方园林四季景观的设计思路,可供业内人士借鉴,
在冬季,喜高温的朱槿处于10℃室温时易受寒害,但嫁接后,室温低至8℃也能安然过冬,而且生长良好,孕蕾开花,年复一年。人们都说,嫁接是提高朱槿抗寒性的好办法。多少年来,我莳
本文是基于高分辨率的Quick Bird影像数据研究艾比湖湖泊及周边的风蚀程度,为艾比湖确定保障水位,减小干涸湖底的沙源提供科学依据。得出以下结论:
(1)艾比湖的干涸湖底是这一