基于Spark-on-Yarn的淘 宝数据挖掘平台.pptxVIP

插上翅膀的大象 基于Spark on Yarn的淘宝数据挖掘平台 目录 为什么选择Spark On Yarn Spark On Yarn的原理和框架 淘宝在Spark On Yarn上做的工作 基于Spark on Yarn的数据挖掘平台架构 • 案例性能 Hadoop在数据挖掘遇到的问题 • 多次迭代 • 中间数据的序列化和反序列化 • 简单的MR模式 vs 复杂的机器学习算法 OO编程 vs 函数式风格 • 图计算能力 Why Spark RDD – 内存计算 – 快速迭代 DAG Scala FP编程 Actor模型 – 并发能力 Hadoop MapReduce HDFS访问 Spark的生态圈 Yarn Standalone HDFS Local Spark (MapReduce) Shark (Hive) Graphx (GraphLab) Streaming (Storm) Mesos Mllib (Mahout) HBASE 淘宝的Spark之路 2013.08 Spark 0.8 (Yarn) 200台Yarn集群 2012中 Spark 0.6（Standalone） 10台小集群 2012初 阿里云梯1目前规模： 5000*2 Yarn版本: 0.23.7 Spark 0.5（Mesos） Just for Lab Spark on Yarn的框架 Container (ExecutorBackend) Executor Container (ExecutorBackend) Executor Node Manager 3.启动Container Application Master SparkContext DAG Scheduler YarnClusterScheduler Node Manager 3.启动AppMaster Resource Manager Spark Yarn Client 5.申请Container 6.分配Container 2.分配AppMaster 1.提交请求 调度过程 RDD Objects DAG Build operator DAG DAGScheduler Stage TaskSet split graph into stages of tasks submit each stage as ready TaskScheduler launch tasks via cluster manager retry failed or straggling tasks Worker execute tasks store and serve blocks Block manager Executor Task Introduction to Spark Internals @Matei Cluster Manager 我们的社区跟进模式 压力测试 修复Bug Spark Repository 内部Gitlab Spark Repository Github 测试服务器 通过 Big Jobs 生产服务器 提交Pull Request 发布生产服务器 内部Merge Weekly Merge Folk 是否对 社区有 价值？ 我们做了什么？  公开的 Pull Request 681: Remove acOve job from idToAcOveJob when job finished or aborted Pull Request 689: Jobs are always marked as SUCCEEDED even its actually failed on Yarn Pull Request 757: ResultTasks serializaOon forget about handling generaOon field, while ShuffleMapTask does  未公开的（和云梯Yarn团队密切相关） 1. 增加用户权限管理 2. 工作jar包缓存机制 3. 自动配置Spark临时缓存目录 4. 封装了一个运行脚本，使用资源文件配置Spark作业性能参数 5. 添加一个Syslog来存放完整日志输出 6. Executor监控页面增加跳转到日志的链接 …… 封装的启动命令 spark_on_yarn \ -­‐-­‐queue cug-­‐queue-­‐spark \ -­‐-­‐jar /home/spark/mllib/libs/spark-­‐mllib_2.9.3-­‐0.7.0-­‐SNAPSHOT.jar \ -­‐-­‐class spark.mllib.recommendaOon.ALS \ -­‐-­‐args ya