基于Redis的分布式缓存系统研究与应用

来源 :中南民族大学 | 被引量 : 0次 | 上传用户:linlong__
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
受武陵山片区政府和企业的委托,进行新型农业数字化平台的建设和推广工作。随着新型农业数字化平台在武陵山片区多家企业投入使用,平台开始面临由于企业用户和消费者用户的数量急剧增加而带来的极大挑战。大量用户频繁操作会对数据库造成巨大压力,严重情况下会造成系统响应时间过长甚至系统崩溃的现象。如何提高平台的高并发处理能力是一个重要的研究问题,目前常见的解决方案是采用Redis分布式缓存系统。为了提高平台高并发场景下的响应速度,需将热点农业数据分布到分布式缓存系统的各缓存节点中。其次,考虑到平台随着在武陵山片区的推广,实验室研发的分布式缓存系统日后必然面临扩展。如何降低系统扩展时各缓存节点产生数据迁移的代价也具有重要意义。因此,论文分析了分布式缓存系统的数据分布以及数据迁移的研究现状,并对现有的数据分布以及数据迁移算法做出了改进。主要完成了以下工作:(1)对基于虚拟节点的一致性哈希算法做出如下2个改进。首先,针对该算法在实验室服务器节点性能参差不齐的情况下,容易导致各节点数据分布不均衡的问题,提出了WF_CH算法。通过设计一种权重因子策略,在对物理节点分配虚拟节点映射时引入权重因子计算,性能更佳的节点通过分配更多的虚拟节点映射来缓存更多的数据,解决了因服务器性能参差不齐造成数据分布不均衡的问题。其次,针对该算法在服务器节点宕机或缓存失效时,无法保证系统的缓存命中率问题,提出了DM_CH算法。通过设计一种双重映射策略,将数据映射给两个虚拟节点从而缓存到两个物理节点上,解决了当某个物理节点宕机或缓存失效时,系统缓存命中率下降的问题。(2)现有随机选取节点进行数据迁移的方式易产生较大的迁移代价。开销敏感数据迁移算法是选取迁移代价最小的节点进行数据迁移,但该算法并没有考虑到数据迁移量的大小,并不能保证迁移代价最小的节点其平均迁移代价也最小。针对该问题,本文提出了一种改进的数据迁移算法,在集群发生数据迁移选取迁移对象时,通过计算出集群中各缓存节点的平均迁移效益,并排序依次选取迁移对象,降低了数据迁移过程中产生的迁移代价。经过在Redis集群上实验测试,改进的数据迁移算法在迁移时间和吞吐量两个评价指标上都有较好提升。(3)改进了新型农业数字化平台的原有架构,将分布式缓存机制应用在平台模块中。最后对平台改进的架构进行性能测试,实验结果证明:平台改进后的架构在系统响应时间和TPS评价指标上都有较好提升。
其他文献
进入21世纪以来,随着经济的快速发展,人类对自然资源的需求量愈来愈大。目前,陆地矿产资源已无法满足社会发展的需要,各国在资源利用方面都逐步向海洋进军。覆盖地球表面71%
逮捕是审前程序中对犯罪嫌疑人人身自由限制最严格的强制性措施,立法对逮捕的申请、实施和监督等环节皆有规定。2012年修订的《刑事诉讼法》第86条第2款明确规定了辩护律师在审查逮捕阶段享有提出辩护意见的权利,试图在封闭的逮捕审查程序中“撕开一道口子”,发挥辩护权的效用。然而若真正想把辩护律师的在审查逮捕期间的权利落到实处,至少在逮捕及其相关程序中应确保律师能有机会获得逮捕所依据的证据材料。而当下,我国
伴随着人类工业文明的进步,随之产生的环境问题日益凸显。限制二氧化碳排放和寻找新的可再生能源及配套存储技术已经是各国政府的广泛共识。而二氧化碳甲烷化技术是一种使用
大气中CO2的含量急剧上升是导致全球变暖的主要原因,由此引发的温室效应也成为了如今最受关注的环境问题之一。微孔有机聚合物由于其具有较高的比表面积和纳米级孔道尺寸,使
气体参与的电化学反应在能源、环境等领域扮演了重要角色,如电解水的析氢、析氧反应;氢燃料电池的氢氧化、氧还原反应;氯碱工业的析氯反应,等等。由于气体在电解液中的溶解度
现今,互联网技术突飞猛进,互联网用户数目飞速攀升,网上阅读市场也逐步扩大,通过网络在线阅读的用户数目达到了近4亿。在海量的书籍中用户究竟该怎么选择,而提供服务方又该怎么做以帮助用户做出选择。推荐系统针对这一类问题应运而生。目前在推荐系统中使用最多的算法就是基于协同过滤的推荐算法,该算法实现简单,效果相对较好,但是也会面临很多的问题。随着用户和项目的数量增多,传统的协同过滤算法会逐步显现出一些不足,
天然气水合物是21世纪最具潜力的能源之一,世界上主要国家都投入了大量资源进行研究。本文围绕开采方面所涉及的CO2乳液开采技术,研究了其中CO2乳液的制备及稳定性评价。CO2
深度挖掘乡村功能价值是实现乡村振兴战略的重要途径,对乡村功能进行评价及土地利用进行优化能够满足区域粮食生产、生态安全和社会经济发展等功能的发展要求,有利于实现乡村振兴战略。本文在构建乡村功能综合评价指标体系的基础上,对乡村功能进行综合评价,对长江经济带乡村功能的时空分布特征进行研究;利用地理探测器定量解析影响乡村功能分布特征的影响因子,探究其影响机制;划分乡村功能类型区,针对不同类型区功能特征确定
视频中运动目标检测是计算机视觉领域中一个重要研究方向,在智能监控,辅助驾驶,车辆跟踪,人机交互等生活场景中有极大的作用,具有广泛的应用前景。由于在视频信息采集过程中常常会出现很多复杂的情况,如摄像头的移动,背景移动,以及运动物体本身的非刚性形变等问题,给视频运动目标检测带来很大的困难。研究者针对这些问题提出了很多视频运动目标检测方法,但仍有很多不足之处。为了提高在视频中对运动目标检测的检测速率和准
早期专利挖掘建立在结构化著录项数据基础上,近年来随着大数据技术、机器学习技术的兴起,专利挖掘逐步向以非结构化数据为数据源进行深层次挖掘的方向发展。本文首先对进行深