大数据时代的大数据思维剖析.ppt

大数据不擅长的 数据不懂社交：”质“与”量“ 数据不懂背景：情景因素 数据会制造出更大的“干草垛”：噪声 数据偏爱潮流，忽视杰作：短期与长期 大数据无法解决大问题 数据掩盖了价值观念 结语 大数据并不是一个充斥着运算法则和机器的冰冷世界，其中仍需要人类扮演重要角色 人类独有的弱点、错觉、错误都是十分必要的，因为这些特征的另一头牵着的是人类的创造力、直觉和天赋 更大的数据源于人本身 如何拥抱大数据 明道：掌握核心理念 优术：提升分析能力 合众：鼓励合作攻关 践行：坚持知行合一 大数据时代的大数据思维 茅 宁 南京大学管理学院 不讲大数据就“OUT”了 如何理解大数据 技术：大云平移 产业：商业革命 资产：数据资产 思维：管理革命和思维革命 大数据时代：改变我们的生活、工作和思维方式 Gartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程 数据量（Volume） 全量超大规模（海量） K、MB（兆）、G、T、P、E、Z、Y、N、D、C 大数据的起始计量单位至少是P（1000个T） 不仅是规模，更重要的是增长速度 到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB 整个人类文明所获得的全部数据中，有90%是过去两年内产生的 到了2020年，全世界所产生的数据规模将达到今天的44倍 速度（ Velocity）：实时变化（输入和处理速度快） 对处理时间的要求 种类（Variety)）：多样化（多源异构） 结构化 非结构化：文本、图象等 价值（Value）:价值密度低 大海捞针？ 数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键 例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元 2009年-2011年间收集了2.1万亿条获利信息 大有大的道理 戴明：除了上帝，任何人都必须用数据来说话 对大部分事物来说，平均值都差强人意 但在决策中，大量个体的平均值往往是最好的 猜猜瓶子里有多少钱？ 猜得最准的个人距离正确答案10美元 所有猜测的平均值距离正确答案3美元 365美元 数据、模型和理论的关系 光大是不够的 数据并不是越多越好 对数据分析能力的挑战：由人来解读转化为洞察见解 科斯：如果你总是拷问数据，数据迟早会招供的 有一位美国数学家最怕坐飞机 他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低 但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零 于是他坐飞机都自己携带一枚炸弹 水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸 林彪的大数据思维 辽沈战役期间，林彪要求每天要进行“军情汇报” 由值班参谋读出各单位用电台报告的当日战况和缴获 几乎是重复着千篇一律枯燥无味的数据 一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?” 见无人回答，接连问了三句 为什么那里缴获的短枪与长枪比例比其它战斗略高 为什么那里缴获和击毁的小车与大车的比例比其它战斗略高? 为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高? “我猜想，不，我断定!敌人的指挥所就在这里! 果然，部队很快就抓住了敌方指挥官廖耀湘 大数据内涵的三维度解析 技术 实践 理论 数据信息采集、传输、存贮、处理和分析能力 ——云技术、分布式处理技术、存贮技术、感知技术 ——分析技术：可视化分析、数据挖掘算法、语义有哪些信誉好的足球投注网站引擎、数据质量与数据管理、预测性分析 大数据特征 大数据价值 大数据思维 公共（互联网）数据 政务数据 产业（企业）数据 个人（用户）数据（i-data) 大数据的本质 用母体代替抽样 统计抽样的局限性 用数量代替精确 拥抱混杂性：容错性更强 用相关性代替因果性 知道是什么比知道为什么更重要 演绎与归纳的区别 演绎：通过一般规律推导出具体事实（从因到果） 归纳：从具体事实中总结出一般规律 大数据的启示：决策分析观念的转变 传统 抽样数据、局部数据和片面数据 经验、假设和价值观 未来 要全体不要抽样 要效率不要绝对精确 要相关不要因果 分析过去，提醒现在，展望未来 Gary Loveman博士的经历 1989年在MIT获经济学博士学位后在哈佛商学院任教 专长是数据挖掘和服务管理：客户心理分析 数学只是象牙塔里学究们出于个人兴趣的消遣，而对真实世界的决策没有帮助，这让他一度感到沮丧 1994年在HBR发表一篇文章引起企业关注 1997年接受主营赌场业务的哈拉斯娱乐公司（Harrah’s Entertainment）邀请，担任该公司COO 他只准备待两年，为此请了两年学术假期 再没有返回哈佛大学，2003年接任该公