论文部分内容阅读
在2008年 Teradata 数据仓库用户及合作伙伴大会（PARTNERS 2008）上，Teradata提出了“Beyond Intelligence”（超越智能）的创新理念。Teradata公司总裁兼首席执行官迈克尔·科勒（Mike Koehler）认为，“超越智能”即动态企业智能（Active Enterprise Intelligence，AEI），它是帮助客户赢得竞争优势的核心所在。
当记者采访参加此次用户大会的中国移动通信集团山西有限公司IT规划建设中心总经理陈钢时，他说：“其实，我们早就Beyond BI，Beyond Intelligence了。”
业务部门提业务需求
在探索中提升建设方法
早在2000年，山西移动就打定主意要实施应用数据仓库系统。怎么就琢磨到要用数据仓库了呢？“当时，山西移动的想法就是希望能做一些大客户关系管理的工作。用什么手段呢？单用一个所谓的大客户关系管理模块显然是不行的。因为所谓的大客户管理，就是要针对大量的数据进行分析，不但要分析出竞争优势，更要分析出我们应该有怎样的管理方式以及应该如何根据不同的客户提供个性化的服务。基于这样的考虑，我们确定了应用数据仓库系统。”
陈钢回忆着当时选择Teradata数据仓库产品的过程：“山西移动在项目启动初期，曾经接洽过数家国际著名的公司。经过一系列的测试和评比，2003年的时候，我们最后选定了Teradata 企业级数据仓库解决方案。这主要得益于 Teradata 数据仓库的超级分析能力、海量并行处理和高可扩展性, 以及丰富的电信业实施经验。”
陈钢告诉记者：“在当前电信领域日趋激烈的竞争环境下，我们希望Teradata 数据仓库技术能够真正发挥其领先全球的技术优势，帮助山西移动提高决策质量，提升竞争优势。但如何去部署呢？回想起来，我们的数据仓库建设也经历了很多曲折。”
“在部署数据仓库的过程中，我们走了一个很大的曲线，但值得庆幸的是，这条曲线是慢慢往上走的。在部署初期，我们只是简单地模仿别人的做法，并没有了解到部署数据仓库要达到怎样的业务目标。解决方案很好，但不知道如何去用，所以部署起来不是很理想。到最后，数据仓库的作用就只限于出报表和KPI（绩效管理）了。其实，数据仓库的作用绝不仅限于此，出报表和KPI是辅助的，进行数据挖掘和支持分析决策才是最主要的。Business做不出来，就更别说Beyond的功能，这也是国内很多企业部署数据仓库不成功的原因所在。”陈钢分析道，“部署数据仓库的步骤应该是这样的：业务部门提出业务需求，梳理业务流程，然后再放到数据模型中去。这个步骤一定是从底层往上走的。但我们现在是倒着走，业务部门提出技术需求，其实业务目标并不明确，技术根本跟不上。”
金字塔倒着走
缺乏底层数据支撑
据陈钢介绍，数据仓库的建设是一个很漫长的过程，不像换一个手机，替换成本不是很大，使用习惯的差别也不是很大。而数据仓库的建设，无论在金融还是电信企业，都要经历长期的建设过程。长期的建设过程体现在三个方面:一是Data，就是数据；二是Information，即信息；三是Knowledge，也就是知识。Data、Information和Knowledge是宝塔式的关系：Data在底层，中间是Information，顶层是Knowledge。不同层对应的用户群是不一样的，底层对应的是操作人员，中间一层指的是有意义的数据，是针对中间管理层的，顶层是针对老板的。如果底层做不好，顶层一定做不好。底层的数据要求高效的处理、高速的数据输入输出，还需要有一个非常优秀的数据结构，还有数据质量。这些工作不可能在一夜之间做好。底层数据的搜集和清洗就是一个非常漫长和复杂的过程，必须把底层的数据建设好，才能进行顶层的建设。
“我们在数据仓库的建设初期，走的弯路还包括我们是从顶层Knowledge开始做的，而缺乏底层数据的支撑。”
当记者问到BI和数据仓库的区别时，陈钢认为，BI是从人工智能发展来的，而数据仓库是做人工智能或者商务智能的基础，无论做什么，都需要有数据做基础，你必须要在无规律的数据、非结构化的数据、各种数据孤岛并存的情况下，能够快速整合出有价值的数据。数据仓库是基础，人工智能是在它上一层面的东西。而数据仓库的建设需要巨大的投入，其中包括人的投入、组织体系流程的改动，以及数据体系的建立。开始的时候你可能根本看不到它的效果，一旦建立起来，人工智能就体现出来了。
数据不能重来
如何优化是关键
数据仓库不只是满足报表和KPI功能，而主要是满足挖掘和支持分析决策用的。为此，陈钢建立了一套用于挖掘和分析的业务流程。“在这一点上，在推动业务的过程中，我得到了老总的大力支持”。
山西移动的数据质量起初并不是很好，在这种情况下，底层的数据又如何去支撑决策呢？陈钢解释说：“如何解决数据质量的问题，我改变不了什么，但我试图去优化一些。数据已经形成这样了，我没有办法彻底改变。以前各个信息系统不是我建立的，之前就已经形成了信息孤岛的架构，里面有多个厂商在做，也有很多没用的数据，但不敢删，因为你不知道哪个应用系统会调用这些数据。”
如何优化呢？陈钢说：“我假设这个土地是荒芜的，里面有金子，也有泥沙，我们在海量的数据上面建了一层，现在叫做SOA，当时叫EDI，然后在海量数据的基础上去挑选，这样就保证了我提取的数据不是垃圾，在垃圾上面建立一个王国，一个干净的王国，这一层一定要满足业务的需求。再有，数据最重要的是要有生命周期，有了数据生命周期，才能调整我的数据抽取。Teradata的工具帮了我很大的忙，它数据抽取的速度非常快，1200万条用户资料，3秒内就可以调出来。”
链接：企业部署数据仓库经验谈
一把手重视
由于数据仓库的目的是打破某一业务中所有的信息孤岛，因而要把各个离散的数据（库）整合起来，让净化、完整的数据为业务决策和发展提供直接的指导和帮助。而要达到这一目的，企业的一把手必须重视，而且要亲自抓落实。
咨询先行，谋定后动
大型企业的数据仓库建设都是大型项目，因而在决定启动之前，必须慎重考虑。在这个过程中咨询是重要的一环。
充分比较，选准供应商
金融、电信等领域的数据仓库项目也是各个供应商竞标的热点。为了中标，各供应商会大肆吹捧自己的产品，这就要求对不同供应商的产品进行充分比较，特别是要进行全封闭式的客观测试，必要时还要让供应商互相PK，而后判定最终中标者。
业务主导，“皮毛”结合
数据仓库项目不仅是技术问题，也不全是信息中心那几个人的“责任田”，数据仓库的核心问题是业务，因而必须坚持业务主导的原则，但任何业务又都是建立在技术基础上的。
简单来说，业务是“皮”，技术是“毛”，“皮毛”结合才能把项目做好。
分期开发，沿途“下蛋”
数据仓库建设通常都是大型项目，建设周期比较长，因而为了让各方业务集团能够积极支持，在建设中要特别注意分期开发，沿途“下蛋”。
換言之，要不断推出阶段性成果，以不断加强各业务集团的信心，同时获得更多支持。
知识转移，滚动开发
当数据仓库建设完成后，知识转移就成为核心任务。换言之，就是要让供应商的技术人员把经验和技术留在信息中心，让自己的技术人员也能成为数据仓库建设和维护的专家。
当记者采访参加此次用户大会的中国移动通信集团山西有限公司IT规划建设中心总经理陈钢时，他说：“其实，我们早就Beyond BI，Beyond Intelligence了。”
业务部门提业务需求
在探索中提升建设方法
早在2000年，山西移动就打定主意要实施应用数据仓库系统。怎么就琢磨到要用数据仓库了呢？“当时，山西移动的想法就是希望能做一些大客户关系管理的工作。用什么手段呢？单用一个所谓的大客户关系管理模块显然是不行的。因为所谓的大客户管理，就是要针对大量的数据进行分析，不但要分析出竞争优势，更要分析出我们应该有怎样的管理方式以及应该如何根据不同的客户提供个性化的服务。基于这样的考虑，我们确定了应用数据仓库系统。”
陈钢回忆着当时选择Teradata数据仓库产品的过程：“山西移动在项目启动初期，曾经接洽过数家国际著名的公司。经过一系列的测试和评比，2003年的时候，我们最后选定了Teradata 企业级数据仓库解决方案。这主要得益于 Teradata 数据仓库的超级分析能力、海量并行处理和高可扩展性, 以及丰富的电信业实施经验。”
陈钢告诉记者：“在当前电信领域日趋激烈的竞争环境下，我们希望Teradata 数据仓库技术能够真正发挥其领先全球的技术优势，帮助山西移动提高决策质量，提升竞争优势。但如何去部署呢？回想起来，我们的数据仓库建设也经历了很多曲折。”
“在部署数据仓库的过程中，我们走了一个很大的曲线，但值得庆幸的是，这条曲线是慢慢往上走的。在部署初期，我们只是简单地模仿别人的做法，并没有了解到部署数据仓库要达到怎样的业务目标。解决方案很好，但不知道如何去用，所以部署起来不是很理想。到最后，数据仓库的作用就只限于出报表和KPI（绩效管理）了。其实，数据仓库的作用绝不仅限于此，出报表和KPI是辅助的，进行数据挖掘和支持分析决策才是最主要的。Business做不出来，就更别说Beyond的功能，这也是国内很多企业部署数据仓库不成功的原因所在。”陈钢分析道，“部署数据仓库的步骤应该是这样的：业务部门提出业务需求，梳理业务流程，然后再放到数据模型中去。这个步骤一定是从底层往上走的。但我们现在是倒着走，业务部门提出技术需求，其实业务目标并不明确，技术根本跟不上。”
金字塔倒着走
缺乏底层数据支撑
据陈钢介绍，数据仓库的建设是一个很漫长的过程，不像换一个手机，替换成本不是很大，使用习惯的差别也不是很大。而数据仓库的建设，无论在金融还是电信企业，都要经历长期的建设过程。长期的建设过程体现在三个方面:一是Data，就是数据；二是Information，即信息；三是Knowledge，也就是知识。Data、Information和Knowledge是宝塔式的关系：Data在底层，中间是Information，顶层是Knowledge。不同层对应的用户群是不一样的，底层对应的是操作人员，中间一层指的是有意义的数据，是针对中间管理层的，顶层是针对老板的。如果底层做不好，顶层一定做不好。底层的数据要求高效的处理、高速的数据输入输出，还需要有一个非常优秀的数据结构，还有数据质量。这些工作不可能在一夜之间做好。底层数据的搜集和清洗就是一个非常漫长和复杂的过程，必须把底层的数据建设好，才能进行顶层的建设。
“我们在数据仓库的建设初期，走的弯路还包括我们是从顶层Knowledge开始做的，而缺乏底层数据的支撑。”
当记者问到BI和数据仓库的区别时，陈钢认为，BI是从人工智能发展来的，而数据仓库是做人工智能或者商务智能的基础，无论做什么，都需要有数据做基础，你必须要在无规律的数据、非结构化的数据、各种数据孤岛并存的情况下，能够快速整合出有价值的数据。数据仓库是基础，人工智能是在它上一层面的东西。而数据仓库的建设需要巨大的投入，其中包括人的投入、组织体系流程的改动，以及数据体系的建立。开始的时候你可能根本看不到它的效果，一旦建立起来，人工智能就体现出来了。
数据不能重来
如何优化是关键
数据仓库不只是满足报表和KPI功能，而主要是满足挖掘和支持分析决策用的。为此，陈钢建立了一套用于挖掘和分析的业务流程。“在这一点上，在推动业务的过程中，我得到了老总的大力支持”。
山西移动的数据质量起初并不是很好，在这种情况下，底层的数据又如何去支撑决策呢？陈钢解释说：“如何解决数据质量的问题，我改变不了什么，但我试图去优化一些。数据已经形成这样了，我没有办法彻底改变。以前各个信息系统不是我建立的，之前就已经形成了信息孤岛的架构，里面有多个厂商在做，也有很多没用的数据，但不敢删，因为你不知道哪个应用系统会调用这些数据。”
如何优化呢？陈钢说：“我假设这个土地是荒芜的，里面有金子，也有泥沙，我们在海量的数据上面建了一层，现在叫做SOA，当时叫EDI，然后在海量数据的基础上去挑选，这样就保证了我提取的数据不是垃圾，在垃圾上面建立一个王国，一个干净的王国，这一层一定要满足业务的需求。再有，数据最重要的是要有生命周期，有了数据生命周期，才能调整我的数据抽取。Teradata的工具帮了我很大的忙，它数据抽取的速度非常快，1200万条用户资料，3秒内就可以调出来。”
链接：企业部署数据仓库经验谈
一把手重视
由于数据仓库的目的是打破某一业务中所有的信息孤岛，因而要把各个离散的数据（库）整合起来，让净化、完整的数据为业务决策和发展提供直接的指导和帮助。而要达到这一目的，企业的一把手必须重视，而且要亲自抓落实。
咨询先行，谋定后动
大型企业的数据仓库建设都是大型项目，因而在决定启动之前，必须慎重考虑。在这个过程中咨询是重要的一环。
充分比较，选准供应商
金融、电信等领域的数据仓库项目也是各个供应商竞标的热点。为了中标，各供应商会大肆吹捧自己的产品，这就要求对不同供应商的产品进行充分比较，特别是要进行全封闭式的客观测试，必要时还要让供应商互相PK，而后判定最终中标者。
业务主导，“皮毛”结合
数据仓库项目不仅是技术问题，也不全是信息中心那几个人的“责任田”，数据仓库的核心问题是业务，因而必须坚持业务主导的原则，但任何业务又都是建立在技术基础上的。
简单来说，业务是“皮”，技术是“毛”，“皮毛”结合才能把项目做好。
分期开发，沿途“下蛋”
数据仓库建设通常都是大型项目，建设周期比较长，因而为了让各方业务集团能够积极支持，在建设中要特别注意分期开发，沿途“下蛋”。
換言之，要不断推出阶段性成果，以不断加强各业务集团的信心，同时获得更多支持。
知识转移，滚动开发
当数据仓库建设完成后，知识转移就成为核心任务。换言之，就是要让供应商的技术人员把经验和技术留在信息中心，让自己的技术人员也能成为数据仓库建设和维护的专家。