分布式数据处理系统的研究与应用

被引量 : 0次 | 上传用户:yijiutaosheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的普遍应用,数据的产生日益加快,如何有效地处理数据已成为业内关注的热点问题。传统的数据处理系统以静态的有限数据集为对象,通过调用静态的查询脚本就可获得所需的查询结果。当今,数据以流行式逐渐向连续、快速、时变方向转变等,传统数据库应用环境的弊端逐渐显露出来,已经无法满足现代化工作的需求。在新的应用背景下,人们对数据库系统的功能和性能有了更高的要求,同时也对数据处理的自动化和智能化提出了更高的要求。论文首先分析了国内外分布式数据处理系统的研究现状,然后设计了一种典型的分布式数据处理系统方案,并讨论了该系统中的两个关键技术,最终将其应用在邮包传送系统项目中。论文研究了分布式数据处理中的两个关键技术:查询和降载。与传统的静态查询不同,数据源不间断地进入系统,连续查询始终保持在执行查询并输出查询结果的状态。笔者分析了连续查询的特点和内存空间的分配情况,设计了一种基于贪心策略的动态滑动窗口查询算法,提高了连续查询处理的效率。降载是针对数据流速不规则引起的负载波动而实施的方法,数据流的到达速率通常是不可预测的且具有很高的突发性,当输入速率超过系统处理能力时,系统会发生过载并且导致系统性能的恶化,本文设计的一种基于蚁群算法的智能降载算法可以寻找出符合条件的最优路径,使得超出负荷的数据可以分流到其它计算节点进行处理,该算法还可以将闲置的节点计算能力充分利用。
其他文献
<正>近年来人民银行推动开展农村支付环境建设,通过建立惠农支付服务点,解决了无金融机构网点地区金融服务缺失问题,使农户足不出村就能得到金融服务,实现了金融改革发展成果
<正>"学挖掘机技术哪家强,中国山东找蓝翔。"这句地球人都知道的广告,最近红到了极致。网络上,你随时都可以看到以"蓝翔"或"挖掘机"为蓝本创造的各式段子;现实中,你可以在公
由美国的次贷危机而引发的全球性金融危机对各国的政治、经济都产生了不同程度的影响,金融危机已经演变为一场全球范围的经济危机。目前,世界经济已趋于好转,但是经济危机的根源
<正>对于初中生而言,在记叙文写作中已经能够比较详细、清楚地描绘整个事件了,但是不少记叙文却写的有事而无情,或者说情感表述过于粗糙、肤浅,甚至有点刻意而显得不真实,这
<正>万达集团可谓是近一段时间的新闻热词,一方面,其要关闭10家严重亏损的万达百货,并压缩25家经营不善的百货楼层的消息,被多角度解读;另一方面,其宣布到2020年将争取成为"
忠诚,是人类共同推崇的基本道德品质,也是军人最可贵的品格。国防生这个特殊群体,既是地方大学生,又是未来的军官,作为我国科技强军的生力军,承载着军队的未来和希望。当前意识形态
近年来,运动捕获数据广泛应用于计算机动画,传统的基于关键帧和动态时间规整的检索方法是在数值相似性的基础上进行运动数据检索,并且具有很高的计算复杂度,针对于此,本文研
研究背景:动脉粥样硬化性肾动脉狭窄(atherosclerotic renal artery stenosis,ARAS)是目前导致终末期肾功能衰竭发生的常见原因之一。既往认为ARAS患者出现慢性肾功能不全主要
数控硬件插补系统采用“单片机+FPGA"的结构,降低了传统硬件插补系统电路的复杂程度,同时也克服了采用软件插补速度慢、实时性差、可靠性低的缺点。还可以利用FPGA具有可反复
图像隐秘嵌入信息是指运用信息隐藏技术,将机密数据隐藏于一副或几副图像里,做到蒙蔽非法接收人的目的。本文在研究了数据存储的基本原理的基础上,综合了数据加密,信息隐藏,