分布式缓存技术在插入密集型系统中应用的研究与实现

来源 :电子科技大学 | 被引量 : 8次 | 上传用户:hrwhrw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国内外互联网的快速发展,分布式缓存技术也得到了广泛的应用。几乎所有的互联网公司都会使用到分布式缓存技术来提高系统的吞吐率,降低对数据库的访问频率,提高系统的快速响应能力。互联网中的应用系统都是属于查询密集型的,也就是数据的查询操作数远远大于其插入的操作数。所以分布式缓存技术在互联网中的应用基本上都是用于提高系统的查询效率的。但是虽然分布式缓存技术在查询密集型系统中得到了广泛的应用,但是并不意味着分布式缓存技术只能应用在查询密集型的系统中。该论文的研究方向就是把分布式缓存技术应用到插入密集型的系统中,以提高系统的最大吞吐率。本文依托于国家信息产业部电子发展基金项目“高性能、高可靠入侵防御系统研发与产业化”。针对项目中对系统吞吐量的需求,在该系统中引入分布式缓存技术。并重点研究了在插入密集型的系统中引入分布式缓存技术后的系统架构问题、分布式缓存的管理以及分布式缓存下实现数据冗余的方法,同时使用该论文中的研究成果最终实现了一个分布式缓存系统。本文的主要研究成果包括:1)通过对插入密集型系统进行分析和研究,完成了在该系统中引入分布式缓存技术后的系统架构的设计。2)在研究和分析一致性hash算法和虚拟节点技术在分布式缓存系统中的应用以后,提出了基于一致性hash的数据冗余技术。将数据按照一定的算法保存在不同的缓存服务上,降低因系统故障造成数据丢失的风险。3)在研究和分析常用的缓存分布式管理技术以后,提出了集中管理、本地询问的缓存管理技术。并详细的描述了管理数据初始化、管理数据修改的流程。4)通过在系统的实现中使用非阻塞通信技术、基于JSON的序列化以及concurrent同步技术,实现了一个高速、高并发的分布式缓存系统。
其他文献
本论文讨论了一种基于小波变换编码的视频低速率采集、传输、和回放系统的设计。内容包括理论分析、方案论证及系统的硬、软件的实现设计。硬件部分的设计:小波变换编码部分选
该文对IEEE 802.11无线局域网安全机制进行研究.在对IEEEE802.11无线局域网安全机制进行深入的分析的基础上,提出改进的方案. 该文提出的改进措施兼顾到了无线网络的安全性和
无线通信的迅速发展使可利用的频带资源捉襟见肘,导致了对频谱效率的极度重视.宽带信号因为其潜在的小功率、抗频率选择性衰落的分集作用和多址能力日益得到重视.那么研究宽
该文首先简单介绍了现有的密码体制,通过比较我们看出椭圆曲线密码系统与其他密码系统相比,效率高、速度快、密钥长度小、占用内存少和带宽需要小,更适合在移动通信中使用,我