海量数据缓存算法与设计模式的研究及应用

被引量 : 0次 | 上传用户:yusijin11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的飞速发展,证券、银行等大型金融信息系统积累了海量的用户数据,数据量和用户数的剧增,给这些系统带来了很大的压力。如何有效减少用户访问延时,提高系统服务质量是一个迫切需要解决的难题,Web缓存技术可以极大的提高系统的响应速度,然而传统的缓存策略只是着眼于单个用户的访问习惯,没有从全盘考虑缓存性能,或者需要加载所有数据才能判断哪些数据是需要缓存的,对于海量数据来说,加载所有数据是不可能的,因此,本文针对海量数据的缓存策略和如何设计缓存系统,做了以下几个方面的工作:(1)针对海量数据如何剔除那些冗余的数据,只提取对系统有用的核心数据进行缓存,提出了基于规则引擎的数据精简模式(REBDR, Rules Engine-Based Data Reduction design pattern),采用规则引擎作为数据预处理的核心,而不是传统上的将数据预处理逻辑固化在代码中,从而让数据预处理逻辑和应用代码之间获得了很好的分离。数据精简的规则可灵活定制,能够适应不同行业的业务需求,并且可以快速响应业务需求的变动,该模式具有通用性。(2)对于海量数据,经过数据精简后,也往往无法全部加载到缓存中,因此我们提出了基于装载因子的数据缓存策略,该算法无需加载所有数据到内存中,根据数据的装载因子即能做出是否缓存的策略,通过仿真测试,该缓存策略相比传统的缓存策略,命中率更高,在系统的吞吐量获得成倍增长的同时大幅降低了系统的响应时延。(3)设计实现了“电子银行风险监控系统”,通过应用REBDR模式和基于装载因子的数据缓存策略,解决了系统最关键的性能问题,该系统拥有很高的灵活性,为国内银行开展电子银行实时风险监控打下了坚实的基础,目前,国内未见有其它满足银行海量交易实时监控性能要求的产品。
其他文献
目的探讨膀胱小细胞癌的临床特点及诊治疗效。方法对5例膀胱小细胞癌的病理及临床资料进行回顾性分析。结果 5例患者,男3例,女2例,平均年龄63岁(51~94岁)。肿瘤分期T2N0M03例,T3
基于自我控制资源模型,本研究探讨了自我损耗对冒险行为的影响以及生理能量补充在其中的缓解作用。实验1和实验2分别通过"Stroop"和"非利手写作"任务操纵被试的自我损耗,两个
形式主义,是一种只看事物表面现象而不分析事物发展内在规律的工作方法和作风。习近平总书记在'不忘初心、牢记使命'主题教育工作会议上,明确提出'守初心、担使
建筑的使用最关键的两项指标就是安全性以及舒适性,人们开始对建筑设计提出更高的要求,包括美观性和建筑功能两个部分,但如今在建筑的结构设计中的确出现很多问题,这些问题直
每个人心中都有一处桃花源。自从晋宋之际陶渊明写出《桃花源记》,后来解者纷纷。王维称为仙源,韩愈直言荒唐,刘禹锡称源中人为仙家仙子,苏轼却说只是秦人子孙。有人以为记文
报纸
大体积混凝土需用大量混凝土浇筑,而混凝土在硬化中,内部会积聚大量水化热,造成很大内外温差,加上混凝土本身的收缩应力,导致混凝土产生较多裂缝。采用低水化热水泥拌制混凝土和在
本文利用希勒检验和斯科特模型对德国、英国、澳大利亚和中国香港的股票市场的有效性进行检验,发现以上4个国家和地区皆存在过度波动情况,因此及时对市场进行检测和加强金融
膀胱小细胞癌(BSCC)是临床上罕见的,具有高度恶性、生长迅速、容易发生浸润和转移、存活率低的肿瘤,发生率仅占膀胱肿瘤的0.5%~1%〔1,2〕。BSCC的治疗方案和预后与尿路上皮癌
以学习不良青少年为被试,采用成绩反馈法诱发情绪,考察了情绪对学习不良青少年选择性注意和持续性注意的影响,结果表明:(1)情绪会影响学习不良青少年的选择性注意,具有积极低
<正> “物语文学”是日本古代文学的,种体裁。“物语”指的是用汉字、日本假名混合写成的传说、故事、传奇之类的小说。它出现于假名文字之后,其根源是民间的口传文学。“物