【摘 要】
:
近年来,互联网相关行业产生了大量由用户通过如社交网络、博客以及多媒体共享服务等应用生成的数据。研究界和工业界面临的共同挑战是如何设计一个低成本的存储系统来应对数
论文部分内容阅读
近年来,互联网相关行业产生了大量由用户通过如社交网络、博客以及多媒体共享服务等应用生成的数据。研究界和工业界面临的共同挑战是如何设计一个低成本的存储系统来应对数据爆炸的问题。分布式对象存储系统作为一种常用的解决方案经常被用来在实际生产中存储大量的数据。而Ceph凭借自身的高可用性、可靠性和可扩展性,其作为一种分布式对象存储系统被广泛地应用在各个不同的行业领域。数据的大规模增长导致的另一个问题是,生产环境中的多个集群之间可能在部署时存在先后顺序或者存在不同的功能需求,进一步造成集群间的异构问题,例如计算能力异构,存储异构,网络异构等情况。在异构环境下,如何对数据进行放置成为了一个热点问题,根据数据放置策略的不同,可以极大地影响系统的性能和集群之间的负载均衡。目前Ceph中所采用的CRUSH算法更多关注的是数据的负载均衡问题,虽然通过CRUSH Map,Ceph允许用户可以自定义对象存储设备的权重,但这里的权重并没有真正体现出异构环境中不同设备之间的差异,而是仅仅反映了存储介质容量大小的区别,忽略了计算能力和网络等异构情况。在默认情况下,Ceph中的数据将以一种近似平均的方式,被分配到各个对象存储设备上。由于没有考虑到集群之间可能存在的异构性所带来性能下降的问题,最终会导致整体运行时间变长。针对上述存在的集群异构性的问题,本文提出了一种改进的Ceph架构。这个新的架构综合考虑了集群的负载均衡,以及包括节点计算能力和网络带宽在内的异构性。然后本文在改进的Ceph架构下,对分布式计算框架MapReduce进行研究。在将MapReduce迁移至改进的Ceph架构之后,如何在异构集群环境下确定初始数据的分配,找到最优的数据放置策略,从而最小化整个程序的完成时间是十分关键的。因此,本文在保证负载均衡前提下,基于改进的Ceph架构和MapReduce的性质,首先提出了混合整数线性规划算法用来求得在异构环境下Ceph的最优数据放置策略。但是,MILP算法的计算复杂度比较高,时间开销大,无法适用于实际的生产环境。所以本文设计了一种基于遗传算法改进的数据放置算法可以在很短的时间内求得问题的近似最优解。实验结果表明该算法得到的数据放置策略与传统Ceph中的策略相比,在性能方面可以提升高达25.6%。
其他文献
企业通常需要通过债务融资,支持企业不断发展壮大。境内的债券融资品种丰富多样,但是由于:1)境内外债券融资难易程度和标准的差别;2)境内外债券融资价格的差别;3)境外债券市
辅助式同步磁阻电机介于永磁同步电机(Permanent Magnet Synchronous Motor,PMSM)和同步磁阻电机(Synchronous Reluctance Motor,SynRM)之间。永磁同步电机的永磁体材料一般为钕铁硼和铁氧体,其中钕铁硼电机存在高成本、高速过压以及高温退磁等问题。而铁氧体电机相对更有优势,同时可以利用磁阻转矩和永磁转矩来提高功率密度和效率,所以受到学者们
设B为一双分数布朗运动,指标H∈(O,1),K∈(0,1],并且2HK
电力作为经济社会发展的重要能源保障,供电可靠性的重要性日益凸显,粤北山区人民追求美好生活的需要也对电力服务也提出更高的要求。只有配电网自动化的实用化水平不断提高才能满足粤北山区电网实现故障快速隔离以及非故障区段快速复电的需求,从而实现粤北山区人民用好电的美好愿望。而配网自动化能否发挥应有的效果主要取决于自动化的规划是否合理合规以及应用是否因地制宜。本论文主要完成了以下五个方面的工作:(1)查阅了大
森林在维持生物圈平衡、实现资源可持续发展等方面扮演着重要角色。森林生物量表征了森林生命活动,反映了植被生长状况,尤其体现了森林获取能量的能力和固碳能力。森林生物量的估测是研究、监测和治理生态环境的重要一环,也是目前众多学者探索的热点问题之一。SAR技术因其全天候全天时、穿透性强等独特的优势,为植被相关问题的研究提供了新的手段,并被越来越多地应用于生物量反演相关研究。针对SAR图像参数与森林生物量之
近年来随着直流输电技术的应用和发展,在直流电缆运行的各种工况下都具有良好电气性能的绝缘材料拥有广阔的应用前景与实用价值。空间电荷的积聚并造成局部场强畸变是直流电
近年来,随着市场经济的持续发展,商业银行也在快速发展。根据中国银行保险监督管理委员会2020年3月份银行业金融机构资产负债情况表显示,我国商业银行总资产已经达到244万亿元,且比上年同期增长率为8.3%。商业银行的健康发展,对于我国金融业的稳定具有举足轻重的影响,更对我国经济发展起到良好的促进作用。但相较商业银行的发展而言,商业银行引发的相关案件也多次发生,对商业银行的发展产生了不利的影响。而这些
零样本图像分类属于图像分类领域,是受人类推理能力的启发而提出的一项新技术。零样本分类的任务是识别在训练阶段没有训练样本的未见类别样本。实现零样本分类目标的途径是
本文首先研究了一类分数阶泛函微分方程的初值问题,借助Darbo不动点定理,及L1空间中测度紧集的相关性质,建立了这类问题的解在L1空间中存在的充分条件.注意到涉及分数阶微分
随着互联网社交平台的蓬勃发展,传统的社交方式、商业经济结构正发生巨大变革。人们越来越青睐于通过微信、微博等社交工具与他人进行交流,互联网中涌现出大量的主观性信息。