WEB 3.0 — 人、机、物融合的大数据时代 - 应用仓库.ppt

Web 3.0 — 人、机、物融合的大数据时代 @武延军 中国科学院软件研究所 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 什么是大数据？ 定义*： 数据集（Data Sets）组成 非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。 获取、存储、检索、共享、分析和可视化。 数据量达到PB、EB或ZB级别。 什么是大数据？ 3个V* 大数据有多大？—— 以互联网为例 Facebook： *截止2012年4月，每日评论已达32亿条；每天新上传照片近3亿张。 每周新增图片容量约60TB，图片总量约2600亿张，已超过20PB。 平均每秒3500次写操作，读操作的峰值可以达到每秒百万次。 Amazon **目前EC2有约450000台服务器（存储+处理）。 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 大数据从何而来？—— 人 内容提供商 新闻报道、时事评论、广告宣传。。。 音频、视频、微视频。。。 职业撰稿人 网络作家、写手、推手、水军。。。 普通大众 博文、图片、音乐、视频。。。 SNS网络传播： 评论、转发。。。 大数据从何而来？—— 机器 存储 软件、系统文件、基础数据 元数据（如索引） 冗余、备份 。。。 处理 原始数据的自动加工： 压缩、聚类、规则适用、可视化、智能衍生。。。 传播 负载迁移、分布式共享（ 如P2P）。。。 大数据从何而来？—— 物理世界 无所不在的感知数据 传感节点（压力、温度、湿度、声光电。。。） 无线宽频信号采样、太湖蓝藻检测、PM 2.5。。。 视频监控 目前1路720P高清视频摄像数据每小时视频录像3GB左右。按一个月保存时间要求计算，3GB/小时×24小时×30天×1路=2.16T。一个拥有500路高清视频摄像，需要保存1个月的监控系统所需的最少存储容量是1PB。 对地观测 资源三号卫星在运行前两个月的时间内，产生37TB的原始影像数据。这是后续互联网地图的基础。 天文物理、气象、医学等专业领域数据。。。 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 大数据向何而去？ 服务 如果不能提供服务，大数据就没有意义。 面向人、机、物的服务 物理世界：需要足够的采样数据 机器：需要数据具有关联度，能够从中分析出有用信息，非结构化?半结构化?结构化 人：能够直接使用数据的表现形式，进行生产和决策 人、机、物对数据的参与 人、机、物对数据贡献与需求 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 数据库与大数据的区别 系统软件的改变之大数据存储 —— NoSQL（1） NoSQL的出现背景 大数据引发的问题 对数据库高并发读写的需求 对海量数据的高效率存储和访问的需求 ?对数据库的高可扩展性和高可用性的需求 传统SQL主要性能无用武之地 数据库事务一致性需求 数据库的写实时性和读实时性需求 ?对复杂的SQL查询，特别是多表关联查询的需求 系统软件的改变之大数据存储 —— NoSQL（2） NoSQL的普及 Google-----BigTable(谷歌三驾马车之一), Leveldb Facebook-----Cassandra Vmware------Redis Oracle-----NoSQL Aamazon-----Dynamo，DynamoDB IBM------基于DB2的NOSQL 雅虎-----HBase 微软-----Trinity 新浪-----KVDB 淘宝-----OceanBase 百度-----Hypertable …. 系统软件的改变之大数据处理 —— Map/Reduce 系统软件的改变之操作系统 —— ? 现有RedHat EL、SuSE EL、Ubuntu、CentOS是否已经足够好？ No. 还有以下问题没有亟待解决： 新型计算资源的直接抽象和调度，如GPU、APU 分布式文件系统下的统一数据视图 全数据中心范围内的能耗管理 大数据下的安全性 。。。 面向大数据的OS目前还没有成熟 提纲 什么是大数据？ 大数据从何而来？ 大数据向何而去？ 系统软件如何迎接大数据时代？ 大数据驱动的Web 3.0展望 大数据与Web 当前大数据研究的商业目标是什么？