《【数盟2016.12.14技术聚会】董西成_Hadoop YARN 基本架构和发展趋势》.pdf

Hadoop YARN 基本架构和发展趋势 董西成 email ：dongxicheng@ 微信号：hadoop-123 [ 口号：做微信上最好的hadoop技术传播者] 主要内容 1 Hadoop YARN产生背景 2 Hadoop YARN基本架构 3 运行在YARN上的计算框架 4 YARN发展趋势 主要内容 1 Hadoop YARN产生背景 2 Hadoop YARN基本架构 3 运行在YARN上的计算框架 4 YARN发展趋势 Hadoop YARN产生背景  直接源于MRv1在几个方面的缺陷  扩展性受限  单点故障  难以支持MR之外的计算  多计算框架各自为战，数据共享困难  MR ：离线计算框架  Storm：实时计算框架  Spark：内存计算框架 Hadoop 1.0和2.0  Hadoop 2.0 由HDFS、MapReduce和YARN三个分支构成；  HDFS ：NN Federation 、HA ；  MapReduce ：运行在YARN上的MR ；  YARN ：资源管理系统 主要内容 1 Hadoop YARN产生背景 2 Hadoop YARN基本架构 3 运行在YARN上的计算框架 4 YARN发展趋势 Hadoop YARN基本架构 Hadoop YARN各模块组成  ResourceManager  处理客户端请求  启动/监控ApplicationMaster  监控NodeManager  资源分配与调度 NodeManager  单个节点上的资源管理  处理来自ResourceManager 的命令  处理来自ApplicationMaster 的命令 ApplicationMaster