面向海量数据的流式计算模型设计及应用

来源 :湖南大学 | 被引量 : 0次 | 上传用户:maomao147
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算、移动互联网和社交网络等新兴信息技术和应用模式的迅速普及,致使全世界数据量剧增,推进人类社会进入海量数据时代。如何从这些海量数据中提取出有价值的信息,为大数据的计算带来前所未有的挑战和机遇。同时,数据的价值通常随着时间的流逝而降低,所以事件出现后必须尽快地对它们进行处理,而不是缓存起来成一批处理。例如比如股票交易的数据等,数据实时性强,数据量大,没有止境,传统的批量计算模式已不再适用。为了应对海量数据实时计算的要求,流式计算模式被提出。所谓流式计算是指将数据看作数据流的形式来处理。在流数据不断变化的过程中实时地进行分析,捕捉到可能对有价值的信息,并把结果发送出去。本文以流式计算在实践中的应用、优化为核心,首先系统地梳理和分析了当前流式计算系统的研究和发展现状。然后结合流式大数据所呈现出的实时性、突发性等特征,分析了现有流式计算系统在应对数据突发性等方面的局限性。即由于现有的流式计算模型采用拓扑结构加静态指定路由的策略,当流式数据的产生量突增时,通常无法动态的进行节点扩展,会造成消息积压和处理延迟,从而丢失流式处理模型实时性的本质。在此基础之上,本文构建了一种具备高动态伸缩性和计算可靠性的流式计算模型,这种模型放弃了在启动时固定节点个数以及节点之间路由关系的静态路由策略,转而采用路由信息分组和按组编号获取路由信息的动态路由策略。对于该策略,可以通过提供的接口自由的对分组路由信息进行增加和修改,极大的提高了系统的热伸缩性,从而实现了应对流式数据的突发的特性。另外,通过对消息的执行路径进行跟踪,本文设计的模型实现了消息级别的可靠性,当消息因为节点发生故障丢失时,会触发消息源的重传机制,从而避免消息的丢失。同时通过采用类似XOR方式的跟踪策略,跟踪每个消息的内存消耗被限制为固定的大小,进而极大的节省了跟踪花销。最后结合实际应用——废弃话单处理系统,给出了这种模型的实现和应用。本文开发的废弃话单处理系统有效的实现了对移动废弃话单的异常监控、定位与及时告知,进而有效的减少了移动的计费损失,并且通过实际应用数据验证了本文提出的动态路由策略在应对数据突发、保持低处理延迟等方面的有效性。
其他文献
在我国金融业中,银行业是主导产业,我国金融国有资产中,银行国有资产所占比例也是最大的。金融国有资产监管模式必然会采用以银行国有资产监管为主的模式,因此银行国有资产监管模式的建立和完善显得尤为重要,研究银行国有资产监管模式刻不容缓。当前我国的银行国有资产监管模式,虽然有着很多符合我国国情的地方,但也在很多方面表现出了一些缺陷和不足。我国银行国有资产监管模式整体结构复杂,责任权属不明,存在着中央与地方
市场上主要的涂料流变助剂各有优缺点,生产出一种综合性能更好的涂料流变助剂尤为重要。本文在对海明斯特殊化工公司生产的建筑涂料用流变助剂BentoneSD-1进行剖析的基础上,
在汽车制动领域中,摩擦材料是不可或缺的功能器件之一。低金属摩擦材料是以金属纤维或还原铁粉为基体,通过热压工艺进行生产的,具有导热性好、摩擦系数稳定、生产成本低等优
玲珑金矿是我国重要的金矿集中区,矿区内岩体主要为花岗岩,大部分地区被第四系覆盖。矿脉受玲珑断裂控制,从金矿脉到新鲜围岩均沿矿脉的两侧出现对称的水平分带特征,依次为金
新常态下中国经济由高速增长转向中高速增长阶段。为应对经济增长的下行压力,企业承担着经济转型发展的重要任务。然而,中国资本市场发展尚不完善,企业普遍面临不同程度的融资约束问题。融资约束严重掣肘企业的经营效率,成为企业绩效提升的“蹩马腿”。商业信用产生于企业日常交易活动中的赊销赊购行为,是企业在商品交易过程中由于延期支付或预售行为所产生的信用关系,其作为一种直接融资能够有效地缓解融资约束。但是,商业信
随着陶瓷行业生产商之间的竞争愈发激烈、国内外经济形势的不容乐观,以及企业规模的扩大,近些年我国陶瓷生产企业的优秀员工跳槽频繁,对企业效益和后续业务展开都产生了负面影响。LY市H陶瓷公司同样面临着这些问题,突出问题是企业的管理水平与企业的发展速度不相匹配,公司采用以往的管理制度,致使员工的积极性不高,尤其是工作强度大、待遇不高的一线员工。而以往学者对一线员工激励机制的研究和讨论,对象多集中在国有企业
WIFI由于具有低成本、高速率、使用便捷等优势,已经成为人们生活中必不可少的一部分。随着无线智能终端的爆发增长以及移动互联网的快速发展,人们对于WIFI的连接需求越来越大
目的:通过检测脑膜瘤及正常脑膜组织中蛋白磷酸酶2A的癌性抑制因子(Cancerous inhibitor of protein phosphatase 2A,CIP2A)和原癌基因c-Myc的表达水平,分析其表达与临床病理
随着中国工业化和城镇化加速推进,中国经济结构不断转型升级,为适应新常态下经济高质量发展的趋势,快消品行业也不断加速转型。在国家政策的驱动及企业高成本影响因素下,快消产业逐渐由低层次、粗放型、高能耗、高污染向品牌化、精品化、专业化转型。榨菜作为世界三大名腌菜之一,在我国具有悠久的历史文化,而重庆涪陵作为我国榨菜的发源地,近年来,涪陵榨菜不断完善产业结构,注重产品的研发创新,在全国的销售量持续上升,呈
关联规则的挖掘是数据挖掘领域和个性化推荐领域的重要分支,用于发现数据库项目间有意义的联系,其中加权关联规则的挖掘因更有利于解决数据库中项目重要程度不同等问题成为主