【摘 要】
:
随着社会的高速发展和信息化技术的普及,世界各地每时每刻都有大量的时序数据在诸如金融、工业、社交网络等领域产生,且在量上呈现快速增长趋势。由于这些时序数据在监管、决
论文部分内容阅读
随着社会的高速发展和信息化技术的普及,世界各地每时每刻都有大量的时序数据在诸如金融、工业、社交网络等领域产生,且在量上呈现快速增长趋势。由于这些时序数据在监管、决策、预测等方面有着极为重要的作用,随之而来的数据实时存储问题就显得极具探讨价值。
现行的数据实时存储系统主要是基于关系数据库的实时存储技术,由于关系数据库本身设计的复杂性,导致了现行实时存储系统一系列效率,扩展性和移植性的问题。因此,本文提出了一种基于现有文件系统的时序数据实时存储技术。
本文对基于文件的海量时序数据实时存储技术进行了论述,并针对海量时序数据流特征分析归纳了其实时存储技术的需求,提出相应的实时存储方案。分布式部署和高度定制化的线程模型带来了极高的扩展性,资源动态调度策略提高了在高吞吐时的抗压能力,并提出了一个基于高可用性集群和文件分时段索引策略的数据实时存储模型。
本文对海量时序数据实时存储方案的技术架构,详细设计以及关键技术实现等方面进行了全面阐述,并通过方案在北美和欧洲各大金融市场的实际应用情况论证方案的可行性和高效性。
其他文献
社会的发展进入了网络信息时代,各种形式的数据海量产生,在这些数据的背后隐藏着许多重要的信息,如何从这些数据中找出某种规律,发现有用信息,越来越受到关注。本文在认真分析研究
近年来,电力系统迅速发展,传统的变电站不支持IEC61850标准,来自不同厂商的智能电子设备无法很好的实现互操作和集成;同时,电力设备的故障往往会影响到整个系统的安全运行,导致维修
互联网技术的发展与互联网产品的应用是信息时代最重要的特征。数据包分类技术由于可以广泛的应用于诸多网络应用中,近年来,被不断的开发与改进。在大量学者的研究下,该技术取得
掌纹识别作为一种新兴的生物识别技术,具有较好的市场前景,近年来得到了广泛的关注与研究,已经形成了比较成熟的理论,现在开始走出实验室,进入应用阶段。掌纹的识别现在主要采用顺
随着信息技术的迅猛发展,软件产业迎来了新的机遇,然而软件产品的恶意盗版、非法使用正日益严峻,软件版权保护成为人们亟待解决的问题。软件水印技术是近年来一种很有前景的软件
随着信息技术的快速发展,特别是计算机技术以及网络技术的不断完善,办公自动化技术得到了更好的发展。办公自动化系统能够加快各种信息的流通,提高企事业的办公效率,降低办公成本
随着机器学习理论研究的深入,很多传统领域借用机器学习来提高研究水平,应用机器学习方法层出不穷,特别是基于机器学习的数据分析方法已成为解决复杂问题的关键技术之一。因
对于卫星舱等复杂布局设计问题,基于人机结合的演化(遗传)算法是一种有效的方法。从2-D先验知识布局方案图获得其数值解,用以作为演化算法的初始种群个体,以及在演化过程中替代
无线Ad hoc网络是一组带有无线收发器的移动终端相互协作形成的一种新型网络,它独立于固定的基础设施,采用分布式管理技术,能够快速配置、自组织工作。由于其组网灵活、机动性好
随着经济和国防事业的发展和测量需求的提高,越来越多的功率溯源对频率范围提出了很宽的要求,上限甚至达到100kHz,远远超过了原有基准15kHz的上限。宽频功率量值溯源需求涉及到军工、航空、电力、节能及磁性材料等多个领域,所以有必要建立我国400Hz~100kHz功率国家基准。数字采样测量技术在电参量测量领域起着越来越重要的作用,不仅被广泛应用于交流电压和电流的测量,还应用于功率测量中。本文首先介绍