一种分布式半结构化流数据查询技术

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:zlqf757299
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,流数据正广泛应用于Web应用,电子商务,传感器网络等各领域中。近年来,随着分布式技术在网络环境中的普及,大量的流数据来自于地理位置不同的数据源,形成了分布式流数据,这使得针对分布式流数据的管理及处理需求分布广泛。然而,现有技术还未能够很好地满足这一需求。如今的分布式技术多关注于如何实现基于集群的高速运算,而忽略了对这些分布式流数据的统一管理问题,包括应以何种结构方便且高效地组织这些数据、采用何种方式提供分布式流数据的统一编程模型等问题。此外,现有的分布式流数据处理技术普遍采用传统的结构化数据描述方式抽象流数据。考虑到结构化数据描述方式对数据格式的过高要求,对比新型的半结构化数据描述方式,其无法更加完整地描述出实际应用中数据之间存在的多样化结构关系,使得相关查询技术在处理分布式流数据时受到了限制。近年来,随着一些半结构化数据标准的提出,半结构化数据描述方式的强大结构描述能力引起了广泛关注,其灵活的组织结构可以更加完整、准确地抽象出不同数据之间存在的各种结构关系。考虑到可扩展标记语言XML作为一种典型的半结构化数据格式已成为网络应用中的数据交换标准,采用XML描述并组织分布式流数据成为了一个极佳选择。注意到目前的XML流数据查询技术大多关注于提高对非分布式流数据的处理性能,还未支持面向分布式流数据的查询需求,设计一种具有强大结构描述能力且适用于分布式流数据的数据模型,并提出一种基于该模型的分布式流数据查询技术来妥善解决分布式流数据的管理、处理问题已显得尤为重要。为解决该问题,本文1)借助于XML的强大结构描述能力构建并提出面向分布式半结构化流数据的数据模型——分布式森林,用于组织各分布式流数据,实现对其的统一管理,并提出基于该模型的分布式流数据查询分解及结果组织方法以实现查询处理;2)提出了一种面向分布式半结构化流数据的宏森林自动机DXSMFT,作为上述方法对应的抽象模型;3)设计并实现基于DXSMFT的高效分布式流数据查询处理模型,通过同步控制及并发协作动作保证处理过程的正确性;4)设计并实现基于DXSMFT的高效分布式流数据查询算法及相应优化算法。这4点共同构成了分布式半结构化流数据查询技术。实验证明,DXSMFT及其算法执行效率高,查询技术在处理分布式流数据时可获得较高的查询性能,且在数据分布规模或数据总量增大的情况下性能比较稳定,适用于实际应用中的分布式流数据环境。
其他文献
生物发酵技术是现代生物学、化学、工程科学的完美交叉,作为国家战略新兴产业的重要组成部分,生物发酵技术凭借其高产、环保、节能的优点,在食品、工业等领域做出了重要贡献
随着地震勘探开发程度的不断发展和提高,面对复杂储层研究、储层物性变化及流体研究等问题,使得物探技术在叠前领域的研究逐渐成为主要选择。做为叠前研究的基础,地震资料的
近些年来,计算机视觉技术飞速发展,图像分类作为经典问题一直被研究学者所关注。与此同时,在图像特征表示方面,研究者们提出了多种类型的视觉特征,可以更为准确的从不同方面
网络时代发展日益加快,“互联网+”的时代悄然而至,作为一大分支的“互联网+餐饮”网络订餐模式,为人民群众提供了新的便捷创新用餐方式。据2016年3.15晚会报道,“饿了么”网络订餐平台存在极大的食品安全隐患,多家餐馆实际经营地与证件不符,有的甚至无证还坦荡经营。而在实际经营中,“饿了么”平台还存在放纵商家虚构店铺地址、上传虚假店铺内景以及厨房照片,甚至对于无照经营的黑作坊入驻放任自流等情况。健康问
改革开放以来,我国资本市场得到了飞速的发展,目前俨然已成为我国社会主义市场经济体系中一个重要的组成部分。作为股权集中的代表,中国资本市场上一股独大的现象十分普遍,在
随着经济和社会的迅猛发展以及生态环境的改变,各类重大突发事件多发、频发,对公共安全造成了严重的威胁。志愿服务在应急救援中的积极作为,有助于降低突发危机的预防与决策
Ti6Al4V合金因其优异的力学性能和较高的比强度已被广泛用于航空航天、医疗和汽车等领域。激光选区熔化加工钛合金,其近净成形、小批量生产成本优势以及支持复杂几何结构加工等优势,加快了零件功能结构一体化的设计与应用,同时一定程度上降低了加工成本。加工过程中激光与钛合金粉末的作用过程,由于作用时间短、物理过程复杂,采用数值模拟的方法能够定量分析作用过程中的温度和流场变化情况,从而为加工参数设计提供参考
便携式设备上的各种移动应用已经产生大量的数据业务,对网络容量的需求快速增加。为了解决这个挑战,许多的研究人员都密切关注网络流量分载。设备到设备(Device-to-Device,D2
近年来,45钢被大量应用于各种重要、服役条件严苛的结构零件,因此导致由于45钢表面磨损和腐蚀造成的结构零件失效现象总是频繁发生,使得工作效率低下,生产成本增高,所以必须
随着电动汽车的兴起和电子通讯设备的不断发展,作为其储能设备的超级电容器变得更加引人注目。提升超级电容器性能的关键是研发电化学性能优异的电极材料,炭纤维具有低密度、