大数据时代的颠覆与陷阱.PDF

大数据时代的颠覆与陷阱 大数据将 一次再 的时代转 ，计给社会带收颤覆性的影响 文 II上海国资记者 刘晓翠 近两年， “大数据”无疑是IT领域最火热的 以最经典的 “啤酒与尿布”案例为例 ，啤酒 关键词。 和尿布看上去是完全针对不同客户群的产品，但 到底何为 “大数据”?与传统数据相 比，大 沃尔玛通过NCR数据挖掘工具发现 ，与尿布一起 数据的特征体现为：数据量更大 ；数据结构更复 购买概率最高的商品居然是啤酒 !沃尔玛在随后 杂；可 以通过技术准确挖掘数据价值 ；拥有更快 的市场调查中证实，丈夫在购买尿布时通常会买 速的数据处理能力。 一 两听啤酒犒劳 自己，于是沃尔玛将尿布和啤酒 以往人们获得数据的方式主要是依靠抽样， ～ 起销售，使这两种商品的销量双双提高。 先用统计学的方法获得数据样本，再将数据存储 而在此前的奥斯卡大奖预测上 ，微 软的预 并进行分析，这类数据为结构性数据，可以直接 测结果与最终结果几乎完全一致。主要是 ，微软 进行分类和统计 ，简单而且清晰。但大量的数据 的分析团队关注了四个不同类型的数据：投票数 是非结构性的，不能用一个字段对应起来。例如 据 、预测市场数据、基本 数据和用户产生 的数 音频、视频、图片、地理信息、时间信息等等。 据 ，其中预测市场数据是关键 ；然后其创建统计 但在大数据时代 ，依托云计算，大量的非结 模型 ，并根据历史数据测试和校正，最终得出分 构性以及半结构性数据的解读成为可能，这类数 析结果 。 据更能洞察消费者习惯 ，描述消费者行为特征， 凭借数学模型，微软成功地预测了第85届奥 并为最终决策提供依据。 斯卡大奖13个奖项中的12项。同时，在去年的美 牛津大学教授维克托 ·迈尔 ·舍恩伯格在 国大选 中，微软亦正确预测了51个选 区中50个选 其 大数据时代》书中提到，大数据的核心是预 区的选举结果，准确率高于98％。 测。数据其实一直都存在，大数据绝非数据量大 同样在文化领域 ，近 日大火的美剧 《纸牌 而已，更重要的在于从海量的数据中发现真正有 屋 也是大数据应用的成功案例。世界上最大的 价值的信息，这个过程不仅快速 ，而且成本更 在线影片租恁服务商Netflix在全世界有3300万用 低。 户 ，Netflix通过分析用户 的每一个行为数据 ，知 维克托认为，大数据将开启一次重大的时代 道观众喜欢那些导演 ，对那些题材感兴趣 ，喜欢 转型，并给社会带来颠覆性的影响。 哪几个演员，然后花1亿美元买下纸牌屋的版权 ， 请来大卫 ·芬奇和凯文 ·史派西。于是，一部风 概念还是现实? 靡世界的电视剧诞生了。 围绕大数据，不少人也提出质疑，认为大数 大数据 同样可 以帮助预测癌症 。据SAP中国 据只是概念的操作，并不具备实际意义。但事实 研究院总裁孙小群介绍，在美国，依靠大数据， 上 ，大数据在发达 国家 已得到广泛运用。作为首 很多医院能够通过对癌症患