MongoDB中的海量数据动态平衡

被引量 : 0次 | 上传用户:zhuhai2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算的技术架构中,数据存储层是基础。当前,云平台中存储了大量的结构化和非结构化数据,这些数据具有高并发性、数据量大、数据之间联系弱等特点。相比关系型数据库,非关系型数据库由于其强大的适应能力得到了广泛地应用。然而由于非关系型数据库发展时间尚短,在负载均衡技术方面的发展还不够成熟,因此,针对提高资源利用率的需求设计有效的非关系型数据库的负载均衡策略具有重要意义。目前大部分数据库的负载均衡技术都是基于数据量实现的,这是因为数据库的职责一直被界定为数据存储,一般认为访问负载的监控应该由应用层实现。然而,随着web2.0的发展,数据访问量的差异被凸显,热点数据分布的均衡特性难以保证,而访问负载过重会导致系统性能下降,访问负载过轻会造成存储系统资源浪费。因此,传统的基于数据量的负载均衡策略难以满足现状。本文旨在研究云平台下非关系型数据库的负载均衡问题,并有针对性地优化MongoDB的负载均衡架构,以提高存储资源的使用率和存储系统的性能。本文主要完成了以下内容的研究:首先,本文分析了MongoDB现有的负载均衡架构的局限性。通过分析目前MongoDB的负载均衡框架,发现其主要存在三个方面需要优化。第一,其是基于数据量的负载均衡策略,这与现实中多数情况下相同数据量的数据负载不相当的现状不符。第二,其没有充分利用副本集和分布式文件系统的特点,事实上副本集除可用来灾后修复外也可用来分担负载,从而以较小的代价平衡系统中的负载。第三,其只有通过自动分片的扩容操作,并没有相应的减少容量的相关操作,另外,在进行平衡负载操作时,其主要策略是进行数据迁移,但是对于迁移数据的选择不具有针对性且迁移数据时资源消耗较大。接着本文提出了优化的MongoDB负载均衡架构和算法。根据目前MongoDB在负载均衡方面的不足,结合分布式文件系统的特点,提出了优化的负载均衡策略和算法。该策略在原有的架构之上引入负载监控器,并改造原有的负载均衡器平衡负载的工作流程和主副本切换机制,以“预防为主,最低消耗处理”的思想实现了基于访问负载的动态负载平衡,并大大减少了资源的消耗。最后本文设计并进行试验以证明此优化框架的可行性。在大规模分布式系统中,快速的响应和高可靠性是终端用户和应用程序追求的两个重要的性能指标,这些性能很大程度上由资源管理策略以及系统中各节点的负载状况来决定。因为负载量的均匀分配能够帮助优化资源利用、最大化吞吐量和消除潜在负载过重的威胁。负载均衡策略优劣的判断有两个重要的标准,分别为迁移代价和对存储系统性能的影响。本文提出的优化的MongoDB的负载均衡策略能够以更小的代价和更低的影响性实现系统的再次平衡,从而提高存储资源的利用率。另外,本文中所设计的负载均衡策略可以广泛用于非关系型数据库,对于云平台下非关系型数据的大规模存储策略的优化具有现实意义。
其他文献
<正>近年来,如何打造中国学术话语体系成为哲学社会科学研究的一个重大课题。在百舸争游、百家争鸣的现代文明体系中,国家和民族的生存发展不仅取决于经济和科技等硬实力,而
<正> 每年的高考物理试题中总有一道立意高、情境新、设问巧、为人津津乐道的压轴题,这些题能够挖掘考生的潜能,提高试卷的区分度,为高等学校选拔人才和对中学物理教学的导向
皮得·伊里奇·柴科夫斯基(Pyotr Ilyich Tchaikovsk,1840—1893)是俄国浪漫主义最杰出的作曲家,是欧洲19世纪浪漫主义乐派的杰出代表人物。本篇文章通过对钢琴作品《四季》
随着我国旅游业的发展,中职旅游教育也达到了一定的规模,在中职旅游服务专业的人数逐渐增多,但在专业课程的建设上存在着一些问题制约着中职旅游专业的发展。本文分析了目前
<正>一度时期,雾霾如灰色的大盖,罩着社会,让人沉重的不只是心情,还有校园里的教育。环保显得焦急而迫切。校园内原本属于孩子们的一切室外活动不得不因此取消。"躲"是长效办
在城市的管道工程和管道穿越铁路、公路等施工中常 采用顶管技术,施工时为保证施工质量,使管道轴线与设计相 符合,不断发现其偏差,纠正偏差是该施工方法的关键,介绍长 距
结合当前全球范围内的信息产业结构调整和梯次转移的特点,为适应我国经济结构战略性调整和区域信息外包产业发展对人才的需求,探索人才培养的新模式、新机制,聊城大学与青岛
本文对豆瓣读书的结构模块,用户定位,品牌建设,赢利模式及有可能的赢利途径开发等进行了分析,探讨了其图书营销模式的优势和不足之处,并提出了保证豆瓣网的顺利运营和发展的
本文运用数字图像处理技术,针对曝光不足问题,提出了灰度变换法和直方图修正法,通过软件编程进行了验证。结果表明,经过处理的图片亮度和对比度有了明显增强。
从脾胃论治难治性小儿肾病蛋白尿35例临床观察资兴矿务局总医院(423404)谢荣名主题词蛋白尿/中医药疗法,健脾,补肾(中医),儿童难治性肾病蛋白尿日久不消是小儿肾病综合征治疗中的一个棘手问题