【摘 要】
:
电信客户关怀项目是为了有效管理电信存量客户而建立的基于从属型数据集市的分析管理系统。ETL指数据抽取、转换、清洗、装载的过程,是建立数据集市最基本最重要的环节,是电
论文部分内容阅读
电信客户关怀项目是为了有效管理电信存量客户而建立的基于从属型数据集市的分析管理系统。ETL指数据抽取、转换、清洗、装载的过程,是建立数据集市最基本最重要的环节,是电信客户关怀项目数据分析成败的关键。本文主要内容是客户关怀项目数据集市ETL过程的设计与实现,以及对处理过程的优化改进。工作主要包括以下内容:首先对数据仓库、数据集市与ETL的概念特点等进行研究,得到理论基础;对客户关怀项目进行详细的数据分析,在需求理解和数据理解基础上得到ETL处理结构。然后在设计中,采用E-LT的系统结构设计更好解决性能问题,并将ETL处理的功能设计为数据抽取、清洗转换、加载和监控模块,确定了各功能完成的策略和方式,加入了日志处理功能,便于对整个处理流程进行监控,得到ETL过程的处理框架;再针对转换处理中的数据质量问题,本文提出了以数据理解为基础,保证数据质量为中心的ETL处理方法,详细分析和理解客户关怀项目业务数据,对转换处理中各个步骤的待处理数据和转化后数据都进行跟踪分析,制定ETL的每步相应的清洗转换规则,充分保证数据质量;且为了便于进行测试、维护和业务扩展,将ETL过程分段设计为六个串行业务处理相对独立的ETL处理模块。最后,实现了ETL的整体到局部的调度过程、各个模块处理过程和ETL目志处理功能,并对ETL实现过程遇到的问题采用逐步隔离测试的方法进行性能优化。得到的该ETL处理过程从功能和性能上都达到了设计要求,为客户关怀项目提供了较好的数据支持,也为其他数据集市ETL提供借鉴作用。
其他文献
在石油钻井过程中,井壁失稳问题是一个需要解决的重大技术难题。对于石油钻井工程来说,井壁失稳会引起井壁坍塌,甚至导致井眼报废;井壁失稳还会影响固井质量以及油井生产,造成严重
SOA(Service Oriented Architecture,面向服务的架构)作为一种新的软件架构,已经逐渐显示出其优越性。它主要是在多种现有技术的基础之上构建一个灵活并且可扩展的框架,这些
路径测试数据生成是软件测试领域研究的热点问题之一。自动生成路径测试数据对提高路径测试的效率、降低软件测试成本、保证软件质量有着重要的意义。本文采用粒子群优化算法
随着数据存储的高速增长,传统的数据库已经无法满足人们处理大规模数据的需求,有关海量数据的处理与存储成为当前的研究热点。Hadoop文件系统HDFS成为研究云存储应用的参考模
随着互联网和信息技术的快速发展,企业在运营过程中会产生大规模的数据,并且数据已成为重要的资产。但这些大规模数据呈现的是不完全的、有噪声的、模糊的、随机的状态,具有规模
自上个世纪九十年代以来,基于内容的视频检索便成为一个热门的研究课题。在信息爆炸的今天,如何使用计算机自动挖掘视频中的语义信息,并有效地利用高层特征进行视频检索,已经
方面化构件组装平台需要将横切关注点织入业务构件,其组装实现依赖于方面编织。同时,按需计算中间件平台要求按照用户或数据传输的需要,动态组合、编织计算模块,提高Internet
本文阐述了测试技术体系,自动测试工具的国内外发展状况和发展趋势,分析了回归测试的现状和存在问题,提出了一个基于C/S模式采用.NET开发的自动回归测试工具的解决方案。通过
当今社会己进入了信息时代,图形图像方面的需求不断增加。数字图像处理科学与技术逐步向其他学科领域渗透,并为其他学科所利用是科学发展的必然。在储层建模领域实现断层构造三
工作流管理系统是实现计算机辅助协同工作的工具,能够实现工作流程的全部或者部分自动管理功能。它不仅便于工作的规范化,而且便于人员与资源的合理配置、工作流流程的监督与