大数据 云计算与移动应用第1讲大数据现象与机遇.ppt

* * * * * * * * 85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据 * 大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系； * * * InSight! * * * * * * * * * * * * * * * 大数据成为全球新热点 数据来源：百度有哪些信誉好的足球投注网站量统计 大数据现象 大数据产生原因 来自“大人群”泛互联网数据 来自大量传感器的机器数据 行业内容数据多结构专业数据 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据… 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 Big Data时代到来 Web 2.0时代 新摩尔定律 全球数据总量每18个月翻番。 大数据已经成为一种自然资源 大数据不被利用就是成本 未来增长不可限量 来源：IDC数字宇宙研究报告，2011.11 据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍 数据利用比例直降 计算速度越来越快，企业却越来越笨。 今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。 IBM实体分析首席科学家Jeff Jonas 数据使用率提升10%的影响 预测2020年，大数据应用市场规模将达到近2600 亿美元 公共管理 医疗 制造 位置服务 零售 大数据 市场前景 对欧洲的公共管理部门来说，大数据每年有2500 亿欧元的潜在价值--比希腊的GDP 还高 对美国医疗行业来说，大数据每年拥有3000 亿美元的潜在价值 生产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7% 利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值 零售商可以利用大数据使经营利润取得60%的增长 大数据成为全球新的经济增长点 各国政府高度重视 美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论 中国：工信部物联网十二五规划 信息处理技术作为4 项关键技术创新工程之一被提出 包括海量数据存储、数据挖掘等 IT盛宴 1. Volume 2. Variety 3. value 4. Velocity 结构化数据、半结构化数据和非结构化数据 如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求 沙里淘金，价值密度低 以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题 实时获取需要的信息 大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命 大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合 什么是Big Data 数据量巨大 全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量 大数据的4V特征 大数据 = 海量数据 + 复杂类型的数据 海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括： 交易数据和交互数据集在内的所有数据集 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于