论文部分内容阅读
随着国内外互联网的快速发展,分布式缓存技术也得到了广泛的应用。几乎所有的互联网公司都会使用到分布式缓存技术来提高系统的吞吐率,降低对数据库的访问频率,提高系统的快速响应能力。互联网中的应用系统都是属于查询密集型的,也就是数据的查询操作数远远大于其插入的操作数。所以分布式缓存技术在互联网中的应用基本上都是用于提高系统的查询效率的。但是虽然分布式缓存技术在查询密集型系统中得到了广泛的应用,但是并不意味着分布式缓存技术只能应用在查询密集型的系统中。该论文的研究方向就是把分布式缓存技术应用到插入密集型的系统中,以提高系统的最大吞吐率。本文依托于国家信息产业部电子发展基金项目“高性能、高可靠入侵防御系统研发与产业化”。针对项目中对系统吞吐量的需求,在该系统中引入分布式缓存技术。并重点研究了在插入密集型的系统中引入分布式缓存技术后的系统架构问题、分布式缓存的管理以及分布式缓存下实现数据冗余的方法,同时使用该论文中的研究成果最终实现了一个分布式缓存系统。本文的主要研究成果包括:1)通过对插入密集型系统进行分析和研究,完成了在该系统中引入分布式缓存技术后的系统架构的设计。2)在研究和分析一致性hash算法和虚拟节点技术在分布式缓存系统中的应用以后,提出了基于一致性hash的数据冗余技术。将数据按照一定的算法保存在不同的缓存服务上,降低因系统故障造成数据丢失的风险。3)在研究和分析常用的缓存分布式管理技术以后,提出了集中管理、本地询问的缓存管理技术。并详细的描述了管理数据初始化、管理数据修改的流程。4)通过在系统的实现中使用非阻塞通信技术、基于JSON的序列化以及concurrent同步技术,实现了一个高速、高并发的分布式缓存系统。