【摘 要】
:
随着互联网的高速发展、互联网用户的快速增长,互联网中的数据也急剧的膨胀。为了给用户提供更好的服务互联网企业就要保存和分析这些数据,由此产生了云计算的概念。云计算的出
论文部分内容阅读
随着互联网的高速发展、互联网用户的快速增长,互联网中的数据也急剧的膨胀。为了给用户提供更好的服务互联网企业就要保存和分析这些数据,由此产生了云计算的概念。云计算的出现很好的解决了大数据的运算与存储的难题,其中云存储作为云计算的衍生也成为了国内外研究的热点。Hadoop的分布式文件系统HDFS凭借着高性能、高可靠性等优势已成为业界研究云存储的标准模型。在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低。针对这个问题本文提出了一种基于关系数据库的小文件合并策略,在集群中为每个用户建立一个用户文件,当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,用户读取小文件时通过元数据信息直接以流式方式进行读取。此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率。除了对HDFS现有架构优化之外,本文还将Web技术与分布式存储技术结合到一起搭建了一个云存储平台,同时利用Hadoop下的Hive工具对网站和集群的日志进行分析与挖掘从而获得用户浏览行为与服务器的运行状况。实验结果表明改进后的架构很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统。
其他文献
双/多基地声呐由于其发射机与接收机分开配置,使其具有了许多与单基地声呐系统不同的特点,且在探测距离、目标检测概率和定位精度各个方面均具有较大的优势。目前对双/多基地声
[目的]探讨花鲈的生理特性。[方法]用石蜡切片的方法,通过不同的染色方法对鲈鱼的消化道进行组织学和组织化学研究。[结果]PAS反应显示消化道各处都有黏多糖存在;AB/PAS反应
本调查从市民思想道德素质、科学人文素质、文明卫生素质三个方面设计问卷,随机选取十堰市市区主要地段具有典型性和代表性的政府机关、事业单位、厂矿企业、工商业户、学校
<正> 袁世凯死后,北洋军阀内部由于派系矛盾出现了权力斗争;地方军阀,借“独立”为名,拥兵自重。帝国主义为了要把旧中国变成它们的殖民地和半殖民地,趁机在幕后操纵,使南北
在核与粒子物理试验中,基于高速采样技术进行探测器信号的全波形数字化,可以得到更全面更详细的物理信息,是目前物理实验读出电子学领域的一个研究热点。在大规模物理实验中,
光学超表面由于亚波长的特征尺寸、自然材料无法实现的传输特性,其概念一经提出,就迅速成为光学集成、平面光学器件研究领域的热门。而基于全电介质材料的光学超表面的提出,
<正>一、旅游房地产的分类及特征1.旅游房地产的分类旅游房地产可以有不同的分类角度。按照功能的不同,可分为旅游景点房地产、旅游商业房地产和旅游住宅房地产三类;按照与风
目的研究表皮氧合指数(SI)在急性呼吸窘迫综合征(ARDS)严重程度分级中的应用价值及其临床意义。方法收集ARDS患者65例,采用SI对ARDS患者严重程度进行分级,临床金标准为氧合指数(OI
在美国高等教育场域中,存在着数量众多、类型多样的协会组织。这些协会组织在多个领域承担着重要的管理职能:促进高等教育跨州区域协作,实现区域教育资源共享;传递高校和社会
调味品分为酱油、醋、复合调味料、盐、糖、味精等种类。复合调味料是调味品中的一类,采用两种或两种以上的调味品配制,经特殊加工而成的调味料,可分为固态复合调味料、液体复合