《Yarn框架代码详细分析V0.3》.pdf

Yarn 框架代码详细分析V0.3 阿里巴巴 封神 2012 年1 月 /blog 目录 一、yarn 简单介绍2 1.1、概述3 1.2、YARN 的优势4 1.3、新框架下的软件设计模式4 1.4、HADOOP 2.0.0- alpha 工程结构4 二、yarn 模块详细分析5 2.1、接口5 2.2、各大模块分析6 2.2.1、RM 6 2.2.2、NM 8 2.2.3、MRAppMaster 9 2.2.4、MRYarnChild10 三、功能点详细分析 11 3.1、Jobhistory 机制11 3.1.1 ． NM 收集日志11 3.1.2 ． MRAppMaster 收集JobHistory 12 3.1.3 ． JobHistoryServer 12 3.2、RM 调度器13 3.2.1、简述13 3.2.2、FairScheduler 代码分析14 3.2.3、FairScheduler 资源预分配14 3.2.4、FairScheduler 抢占资源15 3.2.5、FairScheduler container 分配15 3.3、MRAppMaster 分配器17 3.3.1、代码分析17 3.3.2、任务周期管理及资源分配17 3.3、shuffle 19 3.5、NM 的资源下载20 1 / 20 版本介绍 V0.1 yarn 简单介绍、yarn 模块详细分析、Jobhistory 机制介绍 V0.2 添加RM 调度器、MRAppMaster 分配器 V0.3 完善调度器的描述，添加一些细节描述 2 / 20 一、yarn 简单介绍 1.1、概述 每个框架一开始都不会考虑太多的问题，也很难预料到未来会发生什么。HADOOP 诞生时的目标就是为了支持几十台机器的规模。 随着互联网企业的发展，数据的规模越来越大，在寻找技术方案的时候，越来越多的公司选择了开源的 HADOOP，越来越多的人也参与 到了HADOOP 的发展中。由于海量数据的需要，HADOOP 所需要支持的机器数越来越多，动辄就几千台的规模，目前阿里巴巴的云梯集 群已经有3400 台的规模，且这个数据还在持续增长。HADOOP 自身框架的问题限制了 （有一个JobTracker、NameNode 单点）集群的规 模。这主要是两方面的，一方面是存储HDFS 层面的，这个社区在极力发展Federation；另一方面是计算层面，一些技术能力较强的 公司开始在寻求解决方案(如：facebook 的corona,和YARN 极其相似)，HADOOP 开源社区也在积极寻求解决方案，从2008 年初，就创 建了MAPREDUCE-279 来讨论、跟踪下一代MAP-REDUCE 的发展。本文主要讲述下一代MAP-REDUCE （也称为YARN）的框架设计及代码细 节，主要的阅读对象是开发人员或者对YARN 代码细节感兴趣的同学，一些YARN 的基本知识请参考。 我们首先看下官方给出的一个比较高层面的框架图，从中我们可以看出还是存在一个全局的master 节点，这个节点也会限制计算 节点的规模。目前，我们只能说，在现在的需求下（大约10w计算节点），这个节点应该不会出现问题。在可预计的未来，谁能说