AFC动态数据仓库应用系统的关键技术研究

来源 :东南大学 | 被引量 : 2次 | 上传用户:xiaguangguang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为满足地铁运营管理人员对其系统中数据的价值挖掘需求,部分城市将数据仓库引入了地铁系统,但数据仓库中只有历史数据,不能为地铁运营管理过程中的战略战术决策的制定提供较好的数据支持。因此,本文提出将动态数据仓库引入地铁系统,构建AFC动态数据仓库应用系统,并对构建过程中所需解决的关键技术问题,即变化数据捕获、数据异常检测与处理以及数据存取处理过程中的查询竞争等问题展开研究。本文首先对动态数据仓库中的变化数据捕获技术、数据异常检测和处理技术以及数据存取处理技术的研究现状进行综述,并对数据仓库和动态数据仓库进行详细介绍;接着,详细分析了各主要变化数据捕获方法的技术原理及其优缺点,结合具体系统应用需求,最后选用基于日志的方法对ACC系统中的变化数据进行捕获,同时,对该方法中的日志记录读取和解析问题进行探讨,给出相应的解决方案,并完成了相应的变化数据捕获模块的架构设计工作;然后,基于南京地铁的进站交易数据,对进站客流量数据异常检测和处理方法进行研究,由于本文异常检测阀值范围计算是基于进站客流量数据预测模型进行的,故需首先进行进站客流量数据预测模型构建,本文首先通过C_C方法和Wolf方法验证进站客流量时序数据的混沌特性并确定时序数据的时间延迟和最佳嵌入维数,对进站客流量时序数据进行相空间重构以得到模型训练样本集并对其进行归一化处理,同时,以支持向量机回归模型作为基础模型,采用集成学习方法来构建进站客流量数据预测模型,并借鉴Bagging和Random Forest的思想来生成模型集成中的各子模型,同时采用基于模型的方法对各子模型进行集成,生成最终的进站客流量数据预测模型,采用加入人工干扰粒子的方式对粒子群算法进行改进(记作WPSOwGS),并以此来优化集成模型参数,然后以大行宫站和上海路站的数据为例,按文中所述方式进行模型构建和模型参数优化,并应用本文方法进行数据异常检测和处理,实验结果表明,本文参数优化算法有效克服了传统方法易陷入极小值点的问题,并具有较好的参数优化效果,同时,按本文方法构建的预测模型与参照方法相比在模型预测效果方面亦优势明显,在异常检测与处理方面,与参照方法相比,本文方法在算得异常检测阀值范围明显变窄的情况下,异常检测的误报率也明显降低,即其具有更优越的数据异常检测和处理性能;其后,对现有的各查询竞争问题解决方案进行了分析和探讨,结合系统的具体应用需求,选用动态多级缓存的方法,并根据研究成果完成了 AFC动态数据仓库应用系统架构设计工作。总体来说,本课题对AFC动态数据仓库应用系统构建过程中的变化数据捕获、数据异常检测和处理以及数据存取处理过程中的查询竞争等问题做了一些有益的探索,也为实际的AFC动态数据仓库应用系统的构建提供了理论和方法支撑。
其他文献
随着全球化的深入,中国已经成长为全球重要的资本输出国。然而,碍于国内进步水平的限制,国内企业仍位于国际产业链的末端。近年来,中国企业获取先进科技的方式更为多元化,其
随着我国科技的迅猛发展和人类生活质量的提升,各类家用电器尤其是空调机,已经逐渐成为我们生活的必需品,空调机给人们带来舒适的同时也产生较多的负面影响,尤其是噪音问题,而压缩机作为空调机的核心部件自然而然就成为大众关注的焦点,其次由于现阶段空调行业内的激烈竞争,再次将空调行业的迫切发展推向了高潮。本文着眼于制冷剂在压缩机泵体内流动的过程以及所产生的气动噪音,从理论和实验方向进行了研究,在充分掌握旋转式
随着当前开放获取环境的逐步改善,作为其重要实现方式的机构知识库也进入更多科研学者的视野。高校作为各种类型科研成果的高产出集群地带,迫切需要构建一个能够将本机构各类
本文针对国内太阳能光热系统建筑应用示范项目能效测评的实际情况,分析影响测试结果的一些主要因素,并试验证明两种常用测试方法的计算结果具有可替代性,提出一种可缩短时间
超分辨率图像重建技术是一种重要的数字图像处理技术,是通过对一幅或多幅具有互补信息的低分辨率图像的处理来重构一幅高分辨率图像。本文在基于稀疏表示的超分辨率图像重建
迅猛发展的移动互联网逐渐渗透到了人们生活的每一个角落,给传统的产业带来了前所未有的改造、重构和颠覆。凭借着与生俱来的情景感知能力,移动互联网逐渐打开了个性化服务的
随着全球通信网络技术的高速发展,光互连以其宽频带、低损耗、抗干扰等优势逐渐成为代替传统电互连的理想通信方式。在整个光通信系统中,光调制器作为核心器件之一,其性能对
随着经济的快速的发展,人们的生活的水平上,有了很大的改善,对于资金理财以及投资方案,形成多样化的建设。人们的首要的理财渠道主要是银行,这样就可以让理财变得多样化,对于
移动互联网行业已然成为近年来的热门行业,它的迅速发展影响着人们生活的方方面面。其中Android作为一个优秀,易用的手机系统,占据着移动市场的大部分份额。随着Android手机
近年来,随着移动通信技术的发展和智能手持设备的兴起,传统的语音通信方式已经不能满足用户之间的沟通需求。移动数据增值业务逐渐兴起,并呈现出种类多,内容丰富,流程复杂,更