中国邮政储蓄银行Spark技术介绍.pptVIP

Spark 技 术 介 绍 Page ? * Page ? * Spark生态介绍 Software Research Development Centre 软件研发中心 Spark编程模型和解析 Spark运行架构和解析 Spark的应用 目录 Page ? * Page ? * Software Research Development Centre 软件研发中心 Spark生态圈介绍 Spark的特点 需领导重点关注问题 单击添加 架构调整技术方案 架构调整技术方案 需领导重点关注问题 单击添加 Spark运行框架 Spark生态介绍 Spark的应用 架构调整技术方案 Spark编程模型 Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整All-In-One 的解决方案技术方案 All-In-One 的解决方案 Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 速度快 Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 使用方便 Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark生态圈介绍 Software Research Development Centre 软件研发中心 内存计算 提供了支持 DAG 图的分布式并行计算框架，减少多次计算之间中间结果 IO 开销 提供 Cache 机制来支持多次迭代计算或者数据共享，减少 IO 开销 RDD 之间维护了血统关系，一旦 RDD fail 掉了，能通过父 RDD 自动重建，保证了容错性 移动计算而非移动数据 使用多线程池模型来减少 task 启动开稍 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 Spark Core Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 Spark SQL Software Research Development Centre 软件研发中心 引入了新的 RDD 类型 SchemaRDD，可以象传统数据库定义表一样来定义 SchemaRDD，SchemaRDD 由定义了列数据类型的行对象构成 SchemaRDD 可以从 RDD 转换过来，也可以从 Parquet 文件读入，也可以使用 HiveQL 从 Hive 中获取。 在应用程序中可以混合使用不同来源的数据，如可以将来自 HiveQL 的数据和来自 SQL的数据进行 join 操作。 内嵌 catalyst 优化器对用户查询语句进行自动优化 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 Spark SQL Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 Spark Streaming Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 MLBase/ MLlib Software Research Development Centre 软件研发中心 Page ? * 下一步工作重点 架构调整技术方案 架构调整技术方案 Spark 生态之 Graph X Page ? * Page ? * Software Research Development Centre 软件研发中心 调整后平台总体架构 需领导重点关注问题 单击添加 架构调整背景介绍 需领导重点关注问题 单击添加 架构调整技术方案 需领导重点关注问题 单击添加 架构调整技术方案 Spark运行架构 概述 Spark的应用 架构调整技术方案 架构调整技术方案 Spark生态介绍 Spark编程模型 调整后平台总体架构 Spark应用程序组成 Spark应用程序基本概念 调整后平台总体架构 Spark应用程序编程模型 Spark支持