大数据时代存储跟路__华为.ppt

应需而变 融以致远 —— 大数据时代存储之路 信息化：从涓流到海洋 目录 大数据带来哪些技术变革 云时代大数据的特点 1 2 华为大数据架构和具体实践 3 大量用户群体 海量计算 大量数据管理 数据分析 大数据定义-不同行业的不同声音 云时代的大数据特点 Volume-巨 量 Variety-多样性 Value-价值密度 数据量巨大 全球在2010 年正式进入ZB 时代 IDC预计到2020 年，全球将总共拥有40ZB 的数据量 结构化数据、半结构化数据和非结构化数据 如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求 沙里淘金，价值密度低 一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题 实时获取需要的信息 大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命 Velocity-速 度 信息采集系统全景介绍 政府机构 （医保，社保） 精确查询 ………… 人际关系、行为分析 跟随分析、人脸识别 通话记录、住宿、交通统计报表 短信、Email内容过滤等其他信息 统计分析 内容查询 数据导入 大数据在各行业的应用 能源 媒资 地质勘探 科研 智能电网 非线编辑 后期制作 卫星探测 基因工程 电子支付 票据归档 金融 互联网 公安 视频监控 视频分析 目录 大数据各行业需求和应用 大数据带来哪些技术变革 云时代大数据的特点 1 2 华为大数据架构和具体实践 3 大数据带来技术变革 大数据带来哪些技术变革 单机 集群 虚拟化 集群 文件存储 单机 设备间连接 设备内连接 关系型数据库 横向扩展 横向扩展 GE FC 数据库集群 10GE FC IB 分布式数据库 非关系型数据库 块存储 10GE SAS IB FC 计算 存储 数据库 网络 横向扩展（硬件扩展） 块虚拟化 丰富的增值软件及对外接口 横向扩展（硬件+文件系统） 文件虚拟化 丰富的增值软件及对外接口 大数据时代群雄逐鹿 Hadoop解决方案架构 目录 什么十大数据 大数据各行业需求和应用 华为大数据架构和具体实践 大数据带来哪些技术变革 云时代大数据的特点 1 2 华为大数据架构和具体实践 3 华为在大数据方面不仅仅是平台提供商 华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户的实际需求，打造适合用户自身特点的大数据服务体系； Scaleout Block Scaleout Filesystem Scaleout DB Scaleout Object Scaleout backup 分布式存储 应用适配, Programmable接口 通用服务器 网络（交换机，路由器） 存储节点 分布式计算和分析 批处理(Galax HD) ) 实时处理和内存计算 近实时分析和MPP DB SQL Query Planner MPP Exec Data Bridge 管控平面 设备管理 资源管理(YARN,多户,Zookeeper) 策略调度 日志留存 OLAP 视频分析 数据可视化 内容检索 数据挖掘 华为大数据一体化平台 集成 Sqoop Data Loader 华为集成和优化 华为自研组件 合作 3rd Party Tool Hadoop FS API, NFS/CIFS,Posix,ISCSI,S3 华为大数据统一架构 Flume Lucene Cloud OS 30mins/TB的恢复速度 存储池内所有硬盘参与重构，仅重构业务数据 由传统RAID多对一的重构模式转变为HVS的多对多快速重构模式 数据恢复速度相对传统RAID提升20倍 降低95%的多盘失效概率 大幅降低重构过程对业务的影响 加速数据恢复 传统阵列 RAID 2.0 1TB NL－SAS 磁盘重构时间（小时） 10 0.5 0 2 4 6 8 10 数据重构时间缩短20倍 核心业务专属保障 存储系统自动按照优先级不同调配资源，保证核心系统的资源需求 SmartQoS确保核心业务服务质量 物理缓存分区，为特定LUN设定专用的缓存分区，避免核心业务与边缘业务恶性缓存竞争 SmartPartition 关键业务性能保障 Smart软件提升客户系统效率 Smart智能软件 SSD SAS NL-SAS 统一管控，运维一手掌握 在线存储 亚洲最大兼容性实验室 兼容性实验室——解决您的兼容性顾虑 面向企业级数据中心 实现数据智能布局 双活数据中心 统一存储资源池 面向海量数据存储 融合架构简化生命周期管理 云化存储设计：智能融合可信赖，满足企业需要 外企当道、自主乏力