论文部分内容阅读
如今,物联网已与我们的工作生活密不可分,随着各种感知技术的广泛应用,物联网产业快速发展,物联网的感知设备数量呈几何递增,各种感知设备动态采集信息并实时回传数据,这些海量感知数据形成物联网感知大数据,如何对物联网感知大数据进行高效的存储、查询与分析成为一个亟待解决的关键问题。物联网感知大数据除具有传统大数据的特征外,还具有频繁更新性、时空相关性、流式积累性、连续序列性和多维特性等特征,对传统的大数据技术形成了巨大的挑战。基于数据分层思想,根据现有大数据技术和理论,实现了一种对物联网感知大数据分层存储和查询系统模型IOT-HSQM(IOT-Hierarchical Storage and Query Management platform),IOT-HSQM为物联网感知大数据的近实时存储和快速查询提供了一种解决方案。主要贡献如下:1、设计并实现了IOT-HSQM系统模型,模型基于分治的思想,将感知数据的存储和查询分为微观感知数据层和中观感知数据层。微观感知数据层主要研究原始感知数据和清洗后有效数据的存储优化和查询优化;中观感知数据是微观感知数据的聚合和统计,中观感知数据层主要研究中观感知数据的存储优化和查询优化。2、设计并实现了微观感知数据层的存储和查询系统,并提出了一种基于时空分块预处理的原始感知数据存储方法TSBPS(Time-Space Block Preprocessing Storage method),该方法通过时空预分块、数据压缩、缓存批量写入等技术来大幅度提高微观感知数据的近实时存储写入的速度。3、设计并实现了中观感知数据层的存储和查询系统,并提出了一种基于历史权值缓存替换的查询方法HRPB(History-Related Priority-Based Strategy method),该方法通过更有效的识别阶段性热点数据,提高缓存命中率,提升查询性能。以2012年北京市真实历史出租车数据和基于真实数据扩充的模拟数据为实验数据,经实验证明,TSBPS较传统方法的写入速度有明显提升,最大写入速度提升了80%,平均写入速度提升了45%;中观感知数据层中HRPB查询方法比基于LRU的查询方法在识别阶段性热点数据方面更有优势,最优时缓存命中率提高了30%;基于IOT-HSQM系统模型中观感知数据层的进行查询,查询速度远高于传统查询方式。综上,IOT-HSQM系统模型在对物联网感知大数据的近实时存储和快速查询方面比传统大数据处理方式具有明显的优势,本研究对促进物联网感知大数据领域技术发展具有积极意义和实用价值。