论文部分内容阅读
随着位置传感和对象监测技术及设备的普及,在智能交通、智慧城市等领域积累了海量的时空数据。时空数据是同时具有时间、空间属性,由特定对象产生的高维数据,由于其随对象生命周期持续生成,数量巨大,因此被称为时空大数据。因为其同时具有大数据技术特征以及多样化的分析需求,传统的数据分析方式不能很好满足众多领域下时空大数据的分析处理需求,特别是在快速满足不同领域不同业务的统计分析需求方面。因此如何能方便地从多维时空大数据中选择用户所需的维度以及方法快速进行统计分析,挖掘时空大数据背后的潜在价值,成为目前急需解决的问题。针对该问题,本文采用面向服务的软件方法来提高时空大数据统计分析应用的开发效率,主要开展了以下四方面工作:1.针对传统方法无法满足时空大数据统计分析需求的问题,通过对时空大数据统计分析需求的归纳,设计了用于支持时空大数据的统计分析的两类基础服务模型,即数据服务和功能服务模型。其中数据服务主要通过多维度时空数据封装得到,主要为功能服务提供分析操作的数据来源;功能服务则通过对统计分析过程中的预处理、统计计算和结果可视化三个环节的处理功能进行归纳得到。通过两类服务模型可以为时空大数据的服务化工作提供指导和规范化支持。2.针对大数据环境下上述两类时空大数据服务实现中的重用性不高问题,设计了基于大数据环境的可配置的服务接口。实现了数据服务中通用的数据接入服务实现框架、数据查询服务接口。功能服务中典型时空数据预处理功能服务集和可配置的描述性统计分析功能服务模板等,可提高服务的重用能力,达到可自主定制、配置服务的效果。3.针对用户对时空大数据的多样化统计分析需求,设计了基于服务组合的时空大数据统计分析应用构造方法。方法结合数据服务和功能服务的特点,通过依次组合数据服务和功能服务的形式来构造一个时空大数据统计分析应用,并支持通过时空参数化配置的方式来满足不同的统计分析应用需求。同时,基于扩展BPMN的方式给出了时空大数据服务组合的定义语言。4.针对时空大数据统计分析应用的构建问题,利用开源Flowable软件和Hadoop大数据环境,设计实现了支持上述方法的时空大数据统计分析平台。平台主要包括三个层次的功能,分别实现时空大数据接入管理、时空大数据统计应用构建和应用运行支撑,可为时空大数据统计分析应用提供快速构造和部署执行的环境支撑。同时,通过平台在河南省高速公路收费大数据统计分析系统中的应用,验证了平台效果。