论文部分内容阅读
报告：《Big data： The next frontier for innovation， competition， and productivity》
发布：麦肯锡全球研究院（McKinsey Global Institute）
麦肯锡全球研究院（MGI）成立于1990年，是麦肯锡公司的业务和经济研究部。该院的使命是帮助商界、公共部门以及社会各界的领导人更好地了解全球经济发展趋势，为在关键领域的管理和政策提供决策支持。在2011年，麦肯锡全球研究所发布了报告《大数据：下一个创新，竞争和生产力前沿》（简称《大数据》），讨论了大数据给商业和经济发展带来的新的可能性，并预测到2018年，仅美国就存在14万～19万数据深入分析人才的缺口。
一个600美元的磁盘能存下全世界的音乐；2010年全球手机使用量达50亿部；“脸谱”网上每个月发帖量300亿；到2011年4月，美国国会图书馆已储存了235TB的数据；全球消费者每年通过使用个人定位数据，节约6000亿美元；零售商因利用大数据，经营利润可能提高60%；到2018年，全球仅美国就需要创建14万～19万个数据深入分析岗位，以及150万精通数据分析的管理人才；我们的世界正经历一场前所未有的数据大爆炸。这对我们来说到底意味着什么？
何谓“大数据”？
“大数据”是当下炙手可热的名词，各行各业都在挖掘大数据的价值。很多公司在利用大数据方面都取得了成功。比如，乐购挖掘了消费者的大量数据，在此基础上进行消费者市场划分和针对性的促销活动；亚马逊利用消费者的购买信息，向消费者进行个性化商品推荐，每当消费者浏览某商品时，Amazon都会通过协同过滤（collaborative filtering）机制，显示“您可能还会喜欢……”“购买此商品的顾客也同时购买……”之类的信息；菲律宾移动运营商Smart通过分析其渗透力、零售商覆盖率，以及城镇用户的平均工资水平等数据，将公司的业务重点放在具有最大潜力的小众市场……
那么，“大数据”到底是什么呢？“大数据”是指超过现有一般数据处理软件抓取、储存、处理和分析数据的能力的数据。可以看出，这是一个动态的定义，随着科技的发展，能被称为“大”的条件在不断提升。此外，“大数据”的定义也因部门领域不同、使用的软件工具不同而有所差异。对于一些部门而言，十几TB的数据就有可能被称为“大数据”；而对于另一些部门而言，用PB衡量的数据才能有此“殊荣”。（注：1TB=1024GB，1PB=1024TB）
大数据可视化
人类在理解和消化大数据上的能力有限。据说，人类的短时记忆只能处理大约7条信息。加州大学圣地亚哥分校的罗杰·博恩和詹姆斯·肖特发现，从1980年到2008年，消费者通过各种媒体每小时对数据的消化只增长了2.8%。经济学家赫伯特·西蒙曾说，信息的富有造成了注意力的贫穷。如何比较容易地理解大数据所传达的信息呢？这就得依赖数据可视化技术。目前，有很多大数据处理软件已被开发，比如，Big Table、Business intelligence、Cassandra、Cloud computing、Data mart、Data warehouse。
标签云（tag cloud）。标签云是根据词汇出现的频度，将数据可视化的。出现频度越高的词汇，在标签云中显示得越大，相反，出现频度越低的词汇在标签云中显示得越小。这种方式的数据可视化，能帮助读者在庞大的文本中迅速抓住核心概念。
空间信息流 （Spatial information flow）。空间信息流展示信息在空间的流动。比如，可视化的空间信息流名为“New York Talk Exchange”，显示了纽约和世界其他城市之间的IP数据流。某个城市的光域越大，那么这个城市与纽约之间的信息交换量越大。从中，我们可以清楚地看到哪个城市和纽约的信息联系最密切。
工作流历史记录 （History flow）。工作流历史记录，用图表的形式将许多作者对同一个文档的操作过程记录下来。比如，维基百科“Islam”词条的工作流历史记录，横坐标表示时间，纵坐标表示作者对文本的贡献。每个作者在图表中都拥有一个色彩条，色彩条纵向的长度显示了该作者的贡献量。从“Islam”词条工作流历史记录中，我们可以得出很多信息。比如，随着参与编辑词条的人越来越多，词条文本越来越长；但在某些时候，可以看到文本被大量删减，即纵向长度缩短；有时甚至可以看到对文本的肆意“破坏”，即词条文本在某时被完全删除，有趣的是，文本很快就被重写或修复。
大数据的变革力
为了弄清楚大数据到底在多大程度上创造价值，报告《大数据》从5个方面进行了深度研究：医疗保健、公共部门、个人定位数据、零售和制造业。这5个领域差不多占到2010年全球GDP的40%。下面，从上述领域中选取2个方面做简要介绍。
医疗保健（美国）。医疗保健业是美国最大的产业之一，占美国GDP的17%，在美国所有的工作岗位总数中占11%。在未来的10年，美国平均每年的医保投入增长率将会超过DGP增长率的2个百分点。美国平均每人的医保投入位居世界第一，效果却不尽人意。美国如能在医保方面充分利用大数据，将会在临床手术、支付、定价、研发、公共卫生等方面创造更多的价值。
有效性对比研究（comparative effectiveness research），就是在医保领域利用大数据的案例之一。医保的过程、效果和费用会受到诸多因素的影响，比如，医保提供者、地理位置或医保人。大范围地对病人特性、医保费用、医保效果等海量数据进行综合分析，就能在比较中，找出对于某位患者来说最有效且最省钱的医疗方案。除美国之外，英国、德国、加拿大和澳大利亚等很多国家都已采用这种研究方式，避免医保过程中的“过度治疗”或“治疗不足”。
除了有效性对比研究，大数据在医保的临床决策支持系统、病人远程监控、改善公共卫生监测等方面都有发挥重要作用的潜力。据预测，美国如果在医保方面继续挖掘大数据的价值，每年将节省3000亿美元的支出。
公共部门（欧盟）。很多国家和地区的政府行政效率都有待提高，尤其是在经济危机的影响下，如何才能在预算压缩的同时，保持高水平的公共服务？麦肯锡全球研究院通过对欧盟公共部门的研究发现，大数据在帮助公共部门提高信息透明度、提供决策支持上大有用武之地，并预计可为欧洲公共部门减少15%～20%的行政支出。德国联邦劳工局对大数据价值的挖掘使用，就是很好的例子。该机构旨在为失业人员提供一系列的咨询与支持服务，它利用大数据能更加准确地分析和评估失业和半失业人员的特征……近些年来，该机构节省了约100亿欧元的支出。
责任编辑：尹颖尧
发布：麦肯锡全球研究院（McKinsey Global Institute）
麦肯锡全球研究院（MGI）成立于1990年，是麦肯锡公司的业务和经济研究部。该院的使命是帮助商界、公共部门以及社会各界的领导人更好地了解全球经济发展趋势，为在关键领域的管理和政策提供决策支持。在2011年，麦肯锡全球研究所发布了报告《大数据：下一个创新，竞争和生产力前沿》（简称《大数据》），讨论了大数据给商业和经济发展带来的新的可能性，并预测到2018年，仅美国就存在14万～19万数据深入分析人才的缺口。
一个600美元的磁盘能存下全世界的音乐；2010年全球手机使用量达50亿部；“脸谱”网上每个月发帖量300亿；到2011年4月，美国国会图书馆已储存了235TB的数据；全球消费者每年通过使用个人定位数据，节约6000亿美元；零售商因利用大数据，经营利润可能提高60%；到2018年，全球仅美国就需要创建14万～19万个数据深入分析岗位，以及150万精通数据分析的管理人才；我们的世界正经历一场前所未有的数据大爆炸。这对我们来说到底意味着什么？
何谓“大数据”？
“大数据”是当下炙手可热的名词，各行各业都在挖掘大数据的价值。很多公司在利用大数据方面都取得了成功。比如，乐购挖掘了消费者的大量数据，在此基础上进行消费者市场划分和针对性的促销活动；亚马逊利用消费者的购买信息，向消费者进行个性化商品推荐，每当消费者浏览某商品时，Amazon都会通过协同过滤（collaborative filtering）机制，显示“您可能还会喜欢……”“购买此商品的顾客也同时购买……”之类的信息；菲律宾移动运营商Smart通过分析其渗透力、零售商覆盖率，以及城镇用户的平均工资水平等数据，将公司的业务重点放在具有最大潜力的小众市场……
那么，“大数据”到底是什么呢？“大数据”是指超过现有一般数据处理软件抓取、储存、处理和分析数据的能力的数据。可以看出，这是一个动态的定义，随着科技的发展，能被称为“大”的条件在不断提升。此外，“大数据”的定义也因部门领域不同、使用的软件工具不同而有所差异。对于一些部门而言，十几TB的数据就有可能被称为“大数据”；而对于另一些部门而言，用PB衡量的数据才能有此“殊荣”。（注：1TB=1024GB，1PB=1024TB）
大数据可视化
人类在理解和消化大数据上的能力有限。据说，人类的短时记忆只能处理大约7条信息。加州大学圣地亚哥分校的罗杰·博恩和詹姆斯·肖特发现，从1980年到2008年，消费者通过各种媒体每小时对数据的消化只增长了2.8%。经济学家赫伯特·西蒙曾说，信息的富有造成了注意力的贫穷。如何比较容易地理解大数据所传达的信息呢？这就得依赖数据可视化技术。目前，有很多大数据处理软件已被开发，比如，Big Table、Business intelligence、Cassandra、Cloud computing、Data mart、Data warehouse。
标签云（tag cloud）。标签云是根据词汇出现的频度，将数据可视化的。出现频度越高的词汇，在标签云中显示得越大，相反，出现频度越低的词汇在标签云中显示得越小。这种方式的数据可视化，能帮助读者在庞大的文本中迅速抓住核心概念。
空间信息流 （Spatial information flow）。空间信息流展示信息在空间的流动。比如，可视化的空间信息流名为“New York Talk Exchange”，显示了纽约和世界其他城市之间的IP数据流。某个城市的光域越大，那么这个城市与纽约之间的信息交换量越大。从中，我们可以清楚地看到哪个城市和纽约的信息联系最密切。
工作流历史记录 （History flow）。工作流历史记录，用图表的形式将许多作者对同一个文档的操作过程记录下来。比如，维基百科“Islam”词条的工作流历史记录，横坐标表示时间，纵坐标表示作者对文本的贡献。每个作者在图表中都拥有一个色彩条，色彩条纵向的长度显示了该作者的贡献量。从“Islam”词条工作流历史记录中，我们可以得出很多信息。比如，随着参与编辑词条的人越来越多，词条文本越来越长；但在某些时候，可以看到文本被大量删减，即纵向长度缩短；有时甚至可以看到对文本的肆意“破坏”，即词条文本在某时被完全删除，有趣的是，文本很快就被重写或修复。
大数据的变革力
为了弄清楚大数据到底在多大程度上创造价值，报告《大数据》从5个方面进行了深度研究：医疗保健、公共部门、个人定位数据、零售和制造业。这5个领域差不多占到2010年全球GDP的40%。下面，从上述领域中选取2个方面做简要介绍。
医疗保健（美国）。医疗保健业是美国最大的产业之一，占美国GDP的17%，在美国所有的工作岗位总数中占11%。在未来的10年，美国平均每年的医保投入增长率将会超过DGP增长率的2个百分点。美国平均每人的医保投入位居世界第一，效果却不尽人意。美国如能在医保方面充分利用大数据，将会在临床手术、支付、定价、研发、公共卫生等方面创造更多的价值。
有效性对比研究（comparative effectiveness research），就是在医保领域利用大数据的案例之一。医保的过程、效果和费用会受到诸多因素的影响，比如，医保提供者、地理位置或医保人。大范围地对病人特性、医保费用、医保效果等海量数据进行综合分析，就能在比较中，找出对于某位患者来说最有效且最省钱的医疗方案。除美国之外，英国、德国、加拿大和澳大利亚等很多国家都已采用这种研究方式，避免医保过程中的“过度治疗”或“治疗不足”。
除了有效性对比研究，大数据在医保的临床决策支持系统、病人远程监控、改善公共卫生监测等方面都有发挥重要作用的潜力。据预测，美国如果在医保方面继续挖掘大数据的价值，每年将节省3000亿美元的支出。
公共部门（欧盟）。很多国家和地区的政府行政效率都有待提高，尤其是在经济危机的影响下，如何才能在预算压缩的同时，保持高水平的公共服务？麦肯锡全球研究院通过对欧盟公共部门的研究发现，大数据在帮助公共部门提高信息透明度、提供决策支持上大有用武之地，并预计可为欧洲公共部门减少15%～20%的行政支出。德国联邦劳工局对大数据价值的挖掘使用，就是很好的例子。该机构旨在为失业人员提供一系列的咨询与支持服务，它利用大数据能更加准确地分析和评估失业和半失业人员的特征……近些年来，该机构节省了约100亿欧元的支出。
责任编辑：尹颖尧