《Yarn框架代码详细分析V0.5》.pdf

Yarn 框架代码详细分析V0.5 阿里巴巴 封神 2014 年01 月 /blog 目录 一、yarn 简单介绍 3 1.1、概述 3 1.2、YARN 的优势4 1.3、新框架下的软件设计模式4 1.4、HADOOP 2.0.0- alpha 工程结构4 二、yarn 模块详细分析 5 2.1、接口 5 2.2、各大模块分析 6 2.2.1、RM 6 2.2.2、NM 8 2.2.3、MRAppMaster 9 2.2.4、MRYarnChild 10 三、功能点详细分析 11 3.1、Jobhistory 机制 11 3.1.1 ． NM 收集日志 11 3.1.2 ． MRAppMaster 收集JobHistory 12 3.1.3 ． JobHistoryServer 12 3.2、RM 调度器 13 3.2.1、简述 13 3.2.2、FairScheduler 代码分析 14 3.2.3、FairScheduler 资源预分配 14 3.2.4、FairScheduler 抢占资源 15 3.2.5、FairScheduler container 分配 15 3.3、MRAppMaster 分配器 17 3.3.1、代码分析 17 3.3.2、任务周期管理及资源分配 17 3.3、shuffle 19 3.5、NM 的资源下载 21 3.6、Metrics 解析 22 3.7、YARN 中WEB 框架解析 23 3.7.1、代码分析 23 3.7.2、WEB 的一些功能 24 四、配置 27 4.1 、配置解析 27 4.2 、DEBUG 配置 27 4.2 、安全配置 28 4.3 、日志配置 28 4.4 、一些ipc、web 端口的一些配置 28 4.5 、影响YARN 性能的一些配置 29 1 / 29 版本介绍 V0.1 yarn 简单介绍、yarn 模块详细分析、Jobhistory 机制介绍 V0.2 添加RM 调度器、MRAppMaster 分配器 V0.3 完善调度器的描述，添加一些细节描述 V0.4 增加shuffle、配置、WEB 服务、一些接口从0.23.6 修改为2.2.0 的接口 2 / 29 一、yarn 简单介绍 1.1、概述 每个框架一开始都不会考虑太多的问题，也很难预料到未来会发生什么。HADOOP 诞生时的目标就是为了支持几十台机器的规模。 随着互联网企业的发展，数据的规模越来越大，在寻找技术方案的时候，越来越多的公司选择了开源的 HADOOP，越来越多的人也参与 到了HADOOP 的发展中。由于海量数据的需要，HADOOP 所需要支持的机器数越来越多，动辄就几千台的规模，目前阿里巴巴的云梯集 群已经有3400 台的规模，且这个数据还在持续增长。HADOOP 自身框架的问题限制了 （有一个JobTracker、NameNode 单点）集群的规 模。这主要是两方面的，一方面是存储HDFS 层面的，这个社区在极力发展Federation；另一方面是计算层面，一些技术能力较强的 公司开始在寻求解决方案(如：facebook