流数据分析系统负载管理技术研究

被引量 : 0次 | 上传用户:jy1794
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,我国信息化进程取得极大进展。信息化的基础是数据的采集、存储、分析与利用。随着数据采集网络向更广更复杂的方向发展,同时数据采集的周期和采集精度不断提高,数据量呈现海量趋势。对于数据来讲,不仅具有值的属性,时间也是其重要的一个方面,数据的分析和利用与其时标特性密切相关,数据应用具有较高的时效性要求。多种采集环境、多种应用场景集成,数据形式、维度多样。总之,数据呈现海量、实时、多样的趋势。面对数据的新特点,传统数据库面临着诸多挑战和问题。首先,传统数据库存储所有的数据,在海量数据的应用场景下存储面临瓶颈;其次,传统数据库在数据查询存在大量的I/O操作,无法满足数据处理时效性的需求;再次,传统数据库无法适应数据分析的新需求。流数据分析系统是实时流数据采集、存储、分析的实时数据管理系统,在应对数据新特点带来的挑战方面有着诸多优势。实时流数据持续到达、速度快、规模大、不可预测,给流数据分析系统的负载管理带来了极大的挑战。流数据分析系统主要存在存储资源和计算资源两方面的性能瓶颈。目前的负载管理机制也是从这两个角度出发进行的。本文首先研究了负载管理的各种技术,核心是从计算资源的角度出发,以降低负载技术为理论基础,设计了一种负载管理算法。首先对流数据分析系统中所有的连续查询进行有向图建模,通过图中算子的选择率以及元组处理耗时计算查询网络的处理容量,进而判断过载时机,为了充分利用数据抖动的特性,减少降载的可能,提出了过载预测算法。基于连续查询的精确性描述,设计了降载的概率模型;为了实现服务质量的均衡,设计了基于降载优先级为核心的降载位置确定方法。通过仿真测试可以看出,在严重过载的情况下,算法降低了平均截止期措施率(Average Deadline Miss Ratio,ADMR),降低了查询结果的可用性损失(Utility Loss);同时仿真结果还显示,算法具有较好的自适应性、鲁棒性;在轻过载的情况下,本文的基于截止期的过载点预测算法很好的避免了实时降载方案,利用后续的处理空闲处理能力处理数据,保证查询的服务质量。
其他文献
<正> 美国通过军事“援助”和军事销售两种方式向台湾当局提供武器的作法由来已久。早在一九五○年朝鲜战争爆发后,美国出于扶蒋反共的反动立场即开始向逃踞台湾的国民党当局
近年来随着我国经济突飞猛进的增长,内陆港得到了快速发展,陆港的功能正不断完善,地位逐步提高。随着国际多式联运的发展,内陆港和沿海港口之间不断深化合作,相互促进。海港的功能
国际主要组织的教育发展指标的多样性、复杂性和科学性,显示出推进教育现代化进程的复杂性和长期性。本文通过主要国际组织的教育指标的选择、应用等方面比较分析,提出了建设
本文针对城市轨道交通的减振降噪问题,从振动与噪声的来源出发,介绍了减振降噪的原理及方法,对国内外常用的减振降噪措施和一些新技术进行了描述,并对我国城市轨道交通减振降
<正> 一、序言。二、八,九,十三,十四,十五五次发掘的经过。三、最近的重要发现及其相关之问题。四、小屯地层的堆积与洹滨诸遗址之关系。一、序言这序言也可当作殷墟发掘小
随着我国经济的快速发展,破碎设备应用的领域也在逐步扩大,广泛应用于建筑、冶金、化工和水利工程等各个行业。与此同时,人们对破碎机的要求也越来越高,特别是高速公路,机场,大坝等
本文以江苏省新沂市为例,采用组群配对法考察了农村土地承包经营权抵押贷款试点对农户信贷可得性的影响。研究发现,从村级层面看,试点村的农户信贷需求率与贷款发生率均高于
肺炎是目前常见于内科的较为严重病症,患病后还容易诱发多种严重疾病,增加患者治疗难度,甚至可能危及患者生命健康,因此应当了解肺炎病症,患者在患病后能够自感病症后及时就
维护社会稳定,对于任何一个国家的发展和长治久安都非常重要。邓小平一贯高度重视社会稳定问题,在社会主义现代化建设和改革开放的伟大实践中形成了系统而丰富的社会稳定思想。
本文以重庆市城万二级公路石塘隧道工程为依托,简要的介绍了石塘隧道的工程概况,综合分析了石塘隧道动态施工过程的数值模拟及动态施工力学效应。运用ANSYS10.0有限元分析软