大数据的产业价值(下)课件.ppt

分析技术 处理技术 存储技术 解决方案 三、技术发展趋势、问题及建议 （一）大数据的发展趋势 .. .. .. .. .. .. .. .. .. .. 大数据的产业价值（下） 汪东升 清华大学教授 点击添加文本 点击添加文本 点击添加文本 点击添加文本 目 录 1 2 3 大数据及其相关概念理解 大数据的产业价值 技术发展趋势、问题与建议 二、大数据的产业价值 ONE TWO 20世纪，瑞士心理学家荣格发现了《易经》筮法中蕴涵的一种不同于因果原理的普遍联系法则，这同大数据技术的复杂相关性有着相似的地方。 2012年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，并且定义为“未来的新石油”，希望增强政府收集、分析和萃取海量数据的能力。 2012年瑞士达沃斯论坛上发布《大数据大影响》报告，称数据已成为一种新的经济资产类别，就像货币或黄金一样，许多国家政府更是把大数据上升到战略层面。 2015年，国务院办公厅发布《关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号）。 IDC公司发布的数字宇宙研究报告称:全球信息总量每两年就会增长一倍,2011年全球被创建和被复制的数据总量为1.8ZB 。 IDC认为,到下一个十年(2020年),全球所有IT部门拥有服务器的总量将会比现在多出10倍,所管理的数据将会比现在多出50倍。预计到2020 年,全球将总共拥有35ZB的数据量。 2011年企业创造、采集、管理和储存信息的成本下降到2005年的1/6,而同期企业关于数据的总投资自2005年以来却反而上升了50%。 数据成本的下降助推了数据量的增长,而新的数据源和数据采集技术的出现则大大增加了未来数据的类型,数据类型的增加导致现有数据空间维度增加,增加了未来大数据的复杂度。 Volume PB+ 数据处理 价值 Velocity 实时处理 Value 海量数据挖掘 Variety 多数据类型 交叉分析 大数据分析技术是对大数据的产生、存储、挖掘和展现的全生命周期进行综合分析处理的过程。 科学家通过大数据分析,可以发现隐藏于其中的有价值的信息和知识。 FBI和警察局依赖于庞大的数据基础，包括媒体对马拉松赛报道的大量图片、视频，以及来自互联网用户上传的大量现场图像和视频，快速定位嫌疑人。 2013年4月15日下午2时50分，科普里广场有两枚炸弹分别于终点线附近观众区及一家体育用品店先后被引爆。 美国波士顿于4月15日举行第117届波士顿马拉松大赛，现场大量观众、记者等通过手机、相机等设备拍照，产生了大量的视频、图片数据。 Google基于有哪些信誉好的足球投注网站数据和历史信息，预测流行性感冒的爆发与强烈等级。 2009成功预测美国甲型H1N1爆发； 2013年1月准确判定美国的流感活动等级为“强烈”。 2003年美国华盛顿大学人工智能负责人开发了Farecast系统并成立公司，通过2000亿条数据记录帮助预测美国国内航班的票价。系统预测准确度达到75%以上，平均每张机票节省50美元。 2012年1月23日英国两名游客飞往美国，出发前在社交网站推特上发布：“提前八卦一下，这周过后，我要前往美国摧毁它。” 美国国土安全部通过情报分析技术发现其言论，将其列为潜在威胁，怀疑他策划到美国实施犯罪。 这两人带着手提箱到达洛杉矶国际机场，持枪警卫立即将他们逮捕并没收了他们的护照。 微软专家David Rothschild通过大数据分析，对第85届奥斯卡各奖项的归属进行成功预测。 除最佳导演外，其它各项奖预测全部命中。 尿布啤酒—沃尔玛 智能交通---交通蝴蝶效应 谷歌提前预测电影票房收入 麦肯锡强调大数据对零售商的影响 美国总统预测 几千年前：基于观察和经验，描述自然现象。 几百年前：基于理论和模型，解释自然现象。 几十年前：基于计算技术，模拟复杂现象。 当今：基于大数据分析，统一理论、实验和模拟。 发布数据 用户产生数据 Web 1.0 250,000 网站 Web 2.0 发布数据 用户产生数据 Cyberspace Any Person Any Where Any Time 5年的信息量 增加10倍! 全球每天通过Internet网络传输的电子邮件多达2100亿封。 Facebook每月新增10亿照片和1000万个视频。 腾讯公司注册用户超过7亿，同时在线人数超过1亿。 某微博网站4亿多节点, 12亿次用户访问，2TB每天用户访问日志。 基于SQL语言: 面对OLAP的传统行和列。 不基于SQL或map-reduce的: 由谷歌率先发起。 数据流: 基于运行商数据直接生成任意图形。 新平台技术 数据入口/汇聚 数据 平台 分析 不同范围的服务 传统交付模式?-?单片或基于设备的解决方案。 云: 能够充分利用物理设施的弹性