山西移动:建立干净的数据王国

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:wkp418907
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  在2008年 Teradata 数据仓库用户及合作伙伴大会(PARTNERS 2008)上,Teradata提出了“Beyond Intelligence”(超越智能)的创新理念。Teradata公司总裁兼首席执行官迈克尔·科勒(Mike Koehler)认为,“超越智能”即动态企业智能(Active Enterprise Intelligence,AEI),它是帮助客户赢得竞争优势的核心所在。
  当记者采访参加此次用户大会的中国移动通信集团山西有限公司IT规划建设中心总经理陈钢时,他说:“其实,我们早就Beyond BI,Beyond Intelligence了。”
  
  业务部门提业务需求
  在探索中提升建设方法
  
  早在2000年,山西移动就打定主意要实施应用数据仓库系统。怎么就琢磨到要用数据仓库了呢?“当时,山西移动的想法就是希望能做一些大客户关系管理的工作。用什么手段呢?单用一个所谓的大客户关系管理模块显然是不行的。因为所谓的大客户管理,就是要针对大量的数据进行分析,不但要分析出竞争优势,更要分析出我们应该有怎样的管理方式以及应该如何根据不同的客户提供个性化的服务。基于这样的考虑,我们确定了应用数据仓库系统。”
  陈钢回忆着当时选择Teradata数据仓库产品的过程:“山西移动在项目启动初期,曾经接洽过数家国际著名的公司。经过一系列的测试和评比,2003年的时候,我们最后选定了Teradata 企业级数据仓库解决方案。这主要得益于 Teradata 数据仓库的超级分析能力、海量并行处理和高可扩展性, 以及丰富的电信业实施经验。”
  陈钢告诉记者:“在当前电信领域日趋激烈的竞争环境下,我们希望Teradata 数据仓库技术能够真正发挥其领先全球的技术优势,帮助山西移动提高决策质量,提升竞争优势。但如何去部署呢?回想起来,我们的数据仓库建设也经历了很多曲折。”
   “在部署数据仓库的过程中,我们走了一个很大的曲线,但值得庆幸的是,这条曲线是慢慢往上走的。在部署初期,我们只是简单地模仿别人的做法,并没有了解到部署数据仓库要达到怎样的业务目标。解决方案很好,但不知道如何去用,所以部署起来不是很理想。到最后,数据仓库的作用就只限于出报表和KPI(绩效管理)了。其实,数据仓库的作用绝不仅限于此,出报表和KPI是辅助的,进行数据挖掘和支持分析决策才是最主要的。Business做不出来,就更别说Beyond的功能,这也是国内很多企业部署数据仓库不成功的原因所在。”陈钢分析道,“部署数据仓库的步骤应该是这样的:业务部门提出业务需求,梳理业务流程,然后再放到数据模型中去。这个步骤一定是从底层往上走的。但我们现在是倒着走,业务部门提出技术需求,其实业务目标并不明确,技术根本跟不上。”
  
  金字塔倒着走
  缺乏底层数据支撑
  
  据陈钢介绍,数据仓库的建设是一个很漫长的过程,不像换一个手机,替换成本不是很大,使用习惯的差别也不是很大。而数据仓库的建设,无论在金融还是电信企业,都要经历长期的建设过程。长期的建设过程体现在三个方面:一是Data,就是数据;二是Information,即信息;三是Knowledge,也就是知识。Data、Information和Knowledge是宝塔式的关系:Data在底层,中间是Information,顶层是Knowledge。不同层对应的用户群是不一样的,底层对应的是操作人员,中间一层指的是有意义的数据,是针对中间管理层的,顶层是针对老板的。如果底层做不好,顶层一定做不好。底层的数据要求高效的处理、高速的数据输入输出,还需要有一个非常优秀的数据结构,还有数据质量。这些工作不可能在一夜之间做好。底层数据的搜集和清洗就是一个非常漫长和复杂的过程,必须把底层的数据建设好,才能进行顶层的建设。
  “我们在数据仓库的建设初期,走的弯路还包括我们是从顶层Knowledge开始做的,而缺乏底层数据的支撑。”
  当记者问到BI和数据仓库的区别时,陈钢认为,BI是从人工智能发展来的,而数据仓库是做人工智能或者商务智能的基础,无论做什么,都需要有数据做基础,你必须要在无规律的数据、非结构化的数据、各种数据孤岛并存的情况下,能够快速整合出有价值的数据。数据仓库是基础,人工智能是在它上一层面的东西。而数据仓库的建设需要巨大的投入,其中包括人的投入、组织体系流程的改动,以及数据体系的建立。开始的时候你可能根本看不到它的效果,一旦建立起来,人工智能就体现出来了。
  
  数据不能重来
  如何优化是关键
  
  数据仓库不只是满足报表和KPI功能,而主要是满足挖掘和支持分析决策用的。为此,陈钢建立了一套用于挖掘和分析的业务流程。“在这一点上,在推动业务的过程中,我得到了老总的大力支持”。
  山西移动的数据质量起初并不是很好,在这种情况下,底层的数据又如何去支撑决策呢?陈钢解释说:“如何解决数据质量的问题,我改变不了什么,但我试图去优化一些。数据已经形成这样了,我没有办法彻底改变。以前各个信息系统不是我建立的,之前就已经形成了信息孤岛的架构,里面有多个厂商在做,也有很多没用的数据,但不敢删,因为你不知道哪个应用系统会调用这些数据。”
  如何优化呢?陈钢说:“我假设这个土地是荒芜的,里面有金子,也有泥沙,我们在海量的数据上面建了一层,现在叫做SOA,当时叫EDI,然后在海量数据的基础上去挑选,这样就保证了我提取的数据不是垃圾,在垃圾上面建立一个王国,一个干净的王国,这一层一定要满足业务的需求。再有,数据最重要的是要有生命周期,有了数据生命周期,才能调整我的数据抽取。Teradata的工具帮了我很大的忙,它数据抽取的速度非常快,1200万条用户资料,3秒内就可以调出来。”
  
  链接:企业部署数据仓库经验谈
  一把手重视
  由于数据仓库的目的是打破某一业务中所有的信息孤岛,因而要把各个离散的数据(库)整合起来,让净化、完整的数据为业务决策和发展提供直接的指导和帮助。而要达到这一目的,企业的一把手必须重视,而且要亲自抓落实。
  咨询先行,谋定后动
  大型企业的数据仓库建设都是大型项目,因而在决定启动之前,必须慎重考虑。在这个过程中咨询是重要的一环。
  充分比较,选准供应商
  金融、电信等领域的数据仓库项目也是各个供应商竞标的热点。为了中标,各供应商会大肆吹捧自己的产品,这就要求对不同供应商的产品进行充分比较,特别是要进行全封闭式的客观测试,必要时还要让供应商互相PK,而后判定最终中标者。
  业务主导,“皮毛”结合
  数据仓库项目不仅是技术问题,也不全是信息中心那几个人的“责任田”,数据仓库的核心问题是业务,因而必须坚持业务主导的原则,但任何业务又都是建立在技术基础上的。
  简单来说,业务是“皮”,技术是“毛”,“皮毛”结合才能把项目做好。
  分期开发,沿途“下蛋”
  数据仓库建设通常都是大型项目,建设周期比较长,因而为了让各方业务集团能够积极支持,在建设中要特别注意分期开发,沿途“下蛋”。
  換言之,要不断推出阶段性成果,以不断加强各业务集团的信心,同时获得更多支持。
  知识转移,滚动开发
  当数据仓库建设完成后,知识转移就成为核心任务。换言之,就是要让供应商的技术人员把经验和技术留在信息中心,让自己的技术人员也能成为数据仓库建设和维护的专家。
其他文献
10月底,SEPATON公司在北京推出了重复数据删除软件的最新版本——DeltaStor 5,同时发布了面向Symantec NetBackup环境的FastStart重复数据删除包,并且郑重承诺,对Microsoft Exchange数据的删除比最低可达40∶1。    40∶1不容易    虽然许多数据备份厂商都拥有了重复数据删除技术,但没有一家敢对数据的删除比做出承诺。数据的删除比与许多因素
2003年,隶属于哈尔滨工程大学科技园的哈尔滨船舶电子大世界成立。3年后,船舶电子大世界以7万平方米的占地面积以及1000余家企业入驻的规模,成为黑龙江IT卖场的翘楚。近日,记者采访了哈尔滨船舶电子大世界总经理潭宝峰。    打造和谐平台力求“多赢”    “厂商、IT卖场、经销商和消费者之间,是唇齿相依的关系,而IT卖场作为其他三方的纽带要处处为他们的利益考虑。”船舶电子大世界总经理潭宝峰这样形
经过了几年时间的积累,万兆以太网产品正在得到市场的关注。不久前,市场研究公司Dell’Oro Group发布了今年第二季度的网络设备市场调查报告。调查结果显示,2008年第二季度,全球万兆以太网交换机市场有两个重要的里程碑:一个是销售总收入首次超过6亿美元,另一个是端口出货量首次超过25万个。    应用引发需求    Dell’Oro公司的分析师认为,万兆以太网设备的应用趋势将在一些新兴的领域继
资金、产品等资源是新品推广、促销活动、渠道开拓的前提条件,没有资源就如同“巧妇难为无米之炊”。在销售回款的战役中,销售人员每天都在演绎着如何应对客户对厂家的榨取,以及如何从客户身上争取资源的故事。  以往人们关注的都是客户如何拼命向厂家销售人员榨取资源,本文将从四个方面谈销售人员如何巧取客户资源,来为市场推广和产品销售发力,从而确保回款源头的活水能够源源不断。    辅导法则    今年5月份,在
继曙光4000A成功“服役”之后,新一代机型曙光5000A再次落户上海超算中心。这一代HPC相比前代机型的性能提高了一个数量级,其系统峰值运算速度达到230TFLOPS,是目前国内速度最快的商用高性能计算机系统。它的技术创新如何体现,曙光又如何看待未来HPC的技术发展,日前,曙光副总裁聂华与记者交流了曙光5000A背后的故事。    曙光怎样设计5000A    曙光5000A的技术参数已在发布时
关键字:用友/ERP-NC    推迟了两个月后,用友NC5.0终于一露峥嵘,面向高端市场的号角再次吹响。  “为了配合新会计准则的颁布实施,用友ERP-NC5.0的产品发布会推迟了两个月时间。”用友软件股份有限公司NC产品总经理唐肖鲁介绍说,“财政部提出,2007年1月将在上市公司实施新会计准则,用友公司立刻成立研究小组,对NC5.0进行调整和改进,使用友ERP-NC成为最快支持新会计准则的集团
这是8年前的一次ERP选型,在上海百事可乐IT总监臧宏鸣看来,那次的选型经验对现在用户选型来说仍有很强的借鉴意义。  对百事可乐来说,在全球范围内推广一套标准系统并不合适,因为不能满足各地的具体需求。比如在中国市场,原有系统随着分销的广化、深化将难以适应一个更高效的运营系统的需要,上海百事就需要寻找一套合适的、强有力的系统来帮助公司提升销售、配送等方面的能力。    从实打实的需求出发    臧宏
随着x86台式机、服务器技术的飞速发展,在软件、硬件应用的需求下,64位、多核处理器已经成为这个时代的代名词,处于后摩尔时代的处理器工艺设计,能否在多核处理器的基础上有所创新,值得我们去期待。此次主流中小企业服务器横向评测意在从中小企业办公应用的需要来确定其在主流的中低端市场中所扮演角色。  时至今日,主流的服务器均基于x86构架,传统架构没有影响到核心技术的延伸和发展,主流的服务器、台式机对处理
你是否有过这样的经历:你打算买房,于是每个周末都顶着烈日从一个楼盘跑到另一个楼盘。终于,在看过了连自己都数不清的楼盘后,做出了购买的决定。然而这很有可能并不是一个让你满意的结果。  你是否曾希望自己悠闲地坐在家中就能够全方位了解楼盘结构,了解消费场所的特征,轻松地获取你所需要的信息呢?  如今,这一切已经变为现实。在互联网上,视频与传统行业结合的细分市场正在慢慢走入人们的视线。  随着2005年视
对于普通用户而言,3G已是一个足以引起审美疲劳的话题了,但处于暗战中的电信运营商却在每天应对着新的挑战与抉择。  近日,工业和信息化部正式发布《关于同意中国移动通信集团公司开展试商用工作的批复》,中国移动即将全面开启全国范围内28个城市的TD二期建网工作,明年初将在全国所有省会城市和计划单列市实现TD信号覆盖。与此同时,中国电信正在全国范围内进行如火如荼的CDMA大规模招标,集团董事长王晓初更表示