大数据一体机、云计算及大数据融合解决方案.pptVIP

大数据分析应用的关键技术之一 SQL on Hadoop 最初的设计定位： 专为分析完整事务支持而优化的大规模并行SQL处理引擎 。 大数据分析应用的关键技术之一 SQL on Hadoop 技术的重要特性和优点： 高度扩展和存储系统 业界领先的性能与动态流水线 弹性故障容错和事务支持 数据管理和分析工具包 真实的SQL功能 基于成本的世界一流查询优化、领先的边缘网络互连 、功能丰富的SQL和分析界面 、并配有事务性存储子系统的高性能执行运行时间 ，是唯一 能够提供此技术的 Hadoop 查询引擎 。 大数据分析应用的关键技术之一 Hadoop 分析框架体系 HDFS HBase Pig, Hive, Mahout Map Reduce Sqoop Flume Resource Management  Workflow Yarn Zookeeper Command Center Configure, Deploy, Monitor, Manage Data Loader HadoopEnterprise Spring Unified Storage Service XtensionFramework CatalogServices QueryOptimizer Dynamic Pipelining ANSI SQL + Analytics Hadoop Virtualization Extension Distrubuted In-memory Store Query Transactions Ingestion Processing Hadoop Driver – Parallel with Compaction ANSI SQL + In-Memory GemFire XD – Real-Time Database Services MADlib Algorithms HAWQ – Advanced Database Services 大数据产品线 – 大数据一体机 SDA 60000 大数据分析系统软件：Hadoop 系统 应用场景： 海量数据离线批处理 / 查询分析 大数据行业应用 – 工业互联网 资产管理 零部件库存管理 资产管理 供应链自动化 工作范围的自动化 场力优化 监控和诊断 状态检修 停电管理 资产生命周期管理 操作优化 物流管理 控制和工厂自动化 燃料消耗的优化 排放管理 法规遵从 健康安全保证 运营管理与监测系统 网络吞吐量的优化 终端客户信息服务 云计算改变IT，大数据应用重在创新 工业互联网和工业大数据特点 基于分布式内存计算技术的IOT逻辑架构 云计算改变IT，大数据应用重在创新 云计算侧重 资源管理，而大数据侧重 业务应用。 云计算资源池化的管理模式是大数据应用的前提。 云计算提供的存储和计算资源池可动态支撑大数据分析业务不断变化的需求。 目 录 1 3 大数据分析应用之关键技术 2 能源行业之大数据分析应用场景 大数据时代的来临 大数据分析应用的数据内容及实现技术 应用平台提交请求访问的数据，包括结构化和非结构化两类 在线存储周期超过数据生命周期规划的数据 适合Hadoop分布式架构管理 无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。 适合Hadoop架构 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。 支持分析型应用，时效性较低 支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点 适合分布式内存数据处理技术 数据类别 数据格式 数据采集频度 大数据分析应用的数据内容及实现技术 在线数据 归档数据 非结构化数据 结构化数据 准实时数据 非实时数据 面向贴源数据查询和主题数据整合。 数据区，适合X86MPP数据库集群 范式化模型数据 面向分析类应用。 对应ADW，适合MPP数据库集群 维度模型数据 数据模型 大数据分析应用的关键核心技术 大数据分析套件组合：（完善生态链） 关系型数据库, NoSQL, 流计算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 缓存，In-Memory DB, In-Memory Data Grid，非关系型数据库，等等 。 大数据分析应用的关键技术之一 分布式内存数据库 MPP 分布式数据库 流式处理 Hadoop 分析框架体系 大数据分析应用的关键技术之一 PaaS 平台弹性运行时环境 监控管理层 物理 资源层 PaaS 服务层 业务 应用层 IAA