活在大数据时代案例实例.ppt

大数据的核心工作思路 大数据系统颠覆了传统数据中心的工作逻辑 传统数据系统工作逻辑： 运算系统调动数据库的数据，数据的移动。 大数据系统工作逻辑： 运算系统直接部署至数据处，数据仅架构内移动。 *.那么大数据的价值在哪里? 在运用这个概念的领域里，让人印象最为深刻的是机器学习 *.机器学习的理念现在已经随处可见（无人驾驶） *.机器学习是许多网上在线应用的基础（有哪些信誉好的足球投注网站引擎算法、语音智能翻译） 大数据的阴暗面 大数据会偷走我们的工作 *.在21世纪，大数据和算法会威胁到白领和需要专业知识的工作，就像在20世纪工厂自动化和装配生产线的应用威胁到了蓝领们的工作岗位 *.同时，老实说,我们并不能很好地处理所有的我们现在能够收集到的数据，这不仅仅是国家安全局的问题，许多企业也搜集并不恰当地使用数据 大数据会偷走我们的工作 *.在21世纪，大数据和算法会威胁到白领和需要专业知识的工作，就像在20世纪工厂自动化和装配生产线的应用威胁到了蓝领们的工作岗位 *.同时，老实说,我们并不能很好地处理所有的我们现在能够收集到的数据，这不仅仅是国家安全局的问题，许多企业也搜集并不恰当地使用数据 大数据只是一种资源与工具，它告知信息但不解释，它指导人们去理解，也会引起误解。 它只不过是过去的现实投影——洞穴里的古老壁画，而且还只是对过去残缺不全的信息统计，用这些信息推出的预测跟猜在概率上区别不大。 大数据绝对不是答案，只是参考，在国内估计更多的用来事前忽悠、事后吹嘘、搞砸后推卸责任。 数据不会说谎，但人性复杂。 * 世界哪个城市的女人最漂亮? 世界十大美女城市排行榜： 1、阿姆斯特丹(荷兰) 2、特拉维夫(以色列) 3、蒙特利尔(加拿大) 4、加拉加斯(委内瑞拉) 5、莫斯科(俄罗斯) 为什么该地的美女会如此吸引男性? *.这里的美女行走在街道上90％宁愿骑自行车而不愿坐汽车，构成一道道亮丽的风景线 *.荷兰美女运动能力较强，活力十足，衣着时尚，相当开放、大胆，平均每位女性熟练两种体育运动 有了更多数据你可以知道些事情,而这些事情在你只有少量数据时你是无法知道的。 大数据 时代 为何选取这个话题？ 1、Very HOT, Cant Out! 2、Very Useful ! 什么是大数据 大数据新在何处 为什么今天有这么多数据 大数据的阴暗面 大数据在城市规划中的应用 Hadoop IBM 英特尔 HP 巨量资料 商业智能 数据库 服务器 SAP HANA 预测 数据流 运算节点 机器学习 并行计算 磁盘阵列 甲骨文 AMD 内存计算 Google Map reduce 可视化 Gb Pb 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的特点 4V 海量 高速 多样 精确 1 KB = 1024字节 存储单位 1 MB = 1024 KB 1 GB = 1024MB 1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB 小知识 Volume 海量 2009年 5000条微博更新/天 2010年 30万条微博更新/天 2011年 250万条微博更新/天 2012年 3500万条微博更新/天 2013年 2亿条微博更新/天 2014年 4亿条微博更新/天 2014年 上传时长12年的视频/天 2014年 用户分享25亿条信息/天 我国一个一线城市的健康档案数据 5PB/年 我国一个智慧城市的数据 800 PB/年 一个单数据表几亿-几百亿条记录 下线商品14亿件，在线商品8亿件 淘宝数据库存了20PB数据 平均每月增加1.5PB 智能移动终端设备的巨量增长 Volume 海量 Velocity 高速 6000万用户登录/天 20亿次 页面访问/天 每天1.2亿次网站访问 响应时间小于100毫秒 由于输入速度加快，所以要求输出速度也要加快 大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。 访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。 对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。 Variety 多样 结构化数据 半结构化数据 非结构化数据 指关系型数据表 指关系结构与内容混合在一起的数据类型 文档、视频、音频、图片 20% 结构化