大数据_杨超.ppt

数据就是生产力 杨超 2013.4.16 数据爆发毋庸置疑 每一天，Facebook 上分享的内容条数达25亿，“赞”的数量27亿，上传照片书3亿，新产生的数据超过500TB，每半小时通过 Hive 扫描的数据105TB，单个 HDFS(分布式文件系统)集群中的磁盘容量超过100PB(1PB=1024TB)。这些海量的、非结构化的、部分开放的数据，已经成为Facebook最核心的资产，同时也催生了一系列围绕其而生的创业公司。 淘宝目前每天活跃数据量已经超过50TB，共有4亿条产品讯息和2亿多名注册用户在上面活动，每天超过4000万人次访问。“大数据”的作用，就是把这些数据采集进数据仓库中，然后用分布式的技术框架(Hadoop)，对非关系型数据进行异质性处理(NoSQL)，通过数据分析与挖掘，发展一对一的商业智能，从中产生让网商因小而美、不再打价格战的企业和个人竞争力 联系：大数据必须有云作为基础架构，才能得以顺畅运营。 区别：目标受众不同：云计算是卖给CIO的技术和产品，是一个进阶的IT解决方案。而大数据是卖给CEO、卖给业务层的产品，大数据的决策者是业务层。 谷歌有一个名为“谷歌流感趋势”的工具，它通过跟踪有哪些信誉好的足球投注网站词相关数据来判断全美地区的流感情况。如果有大量人有哪些信誉好的足球投注网站一些关键词，比如温度计、流感症状、胸闷 等，系统就会进行跟踪分析，创建地区流感地图（灰线）。其结果与美国疾病控制和预防中心的报告（虚线）大体一致。 Thank you! * * * 不知道BIG DATA? 你out了! 反对派认为，我们现在处在一个盲目的大数据崇拜时代 * 大数据的定义 理解大数据 相关技术与应用 目录 * facebook 社交网络 … 淘宝、ebuy 电子商务 … 微博、Apps 移动互联 … 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、有哪些信誉好的足球投注网站、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的背景 * GB TB PB EB ZB 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节 大数据时代的爆炸增长 * “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 Volume Velocity Value Variety 大数据的4V特征 Value 价值 挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息. 价值密度低,是大数据的一个典型特征. Variety 多樣性 企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互信息,位置信息等是大数据的主要来源. 能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应用. Velocity 速度 1s 是临界点. 对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的. 实时处理的要求,是区别大数据引用和传统数据仓库技术,BI技术的关键差别之一. Volume 数据量 PB是大数据層次的临界点. KB-MB-GB-TB-PB-EB-ZB-YB-NB-DB * 大数据的定义 理解大数据 相关技术与应用 目录 1.密不可分的大数据与云计算 云计算 彻底改变IT 大数据 彻底改变业务 * 2、大数据不仅仅是“大” 多大？ 至少PB 级 比大更重要的是数据的复杂性，