《Yarn框架代码详细分析V0.3》.pdf

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
《Yarn框架代码详细分析V0.3》.pdf

Yarn 框架代码详细分析V0.3 阿里巴巴 封神 2012 年1 月 /blog 目录 一、yarn 简单介绍2 1.1、概述3 1.2、YARN 的优势4 1.3、新框架下的软件设计模式4 1.4、HADOOP 2.0.0- alpha 工程结构4 二、yarn 模块详细分析5 2.1、接口5 2.2、各大模块分析6 2.2.1、RM 6 2.2.2、NM 8 2.2.3、MRAppMaster 9 2.2.4、MRYarnChild10 三、功能点详细分析 11 3.1、Jobhistory 机制11 3.1.1 . NM 收集日志11 3.1.2 . MRAppMaster 收集JobHistory 12 3.1.3 . JobHistoryServer 12 3.2、RM 调度器13 3.2.1、简述13 3.2.2、FairScheduler 代码分析14 3.2.3、FairScheduler 资源预分配14 3.2.4、FairScheduler 抢占资源15 3.2.5、FairScheduler container 分配15 3.3、MRAppMaster 分配器17 3.3.1、代码分析17 3.3.2、任务周期管理及资源分配17 3.3、shuffle 19 3.5、NM 的资源下载20 1 / 20 版本介绍 V0.1 yarn 简单介绍、yarn 模块详细分析、Jobhistory 机制介绍 V0.2 添加RM 调度器、MRAppMaster 分配器 V0.3 完善调度器的描述,添加一些细节描述 2 / 20 一、yarn 简单介绍 1.1、概述 每个框架一开始都不会考虑太多的问题,也很难预料到未来会发生什么。HADOOP 诞生时的目标就是为了支持几十台机器的规模。 随着互联网企业的发展,数据的规模越来越大,在寻找技术方案的时候,越来越多的公司选择了开源的 HADOOP,越来越多的人也参与 到了HADOOP 的发展中。由于海量数据的需要,HADOOP 所需要支持的机器数越来越多,动辄就几千台的规模,目前阿里巴巴的云梯集 群已经有3400 台的规模,且这个数据还在持续增长。HADOOP 自身框架的问题限制了 (有一个JobTracker、NameNode 单点)集群的规 模。这主要是两方面的,一方面是存储HDFS 层面的,这个社区在极力发展Federation;另一方面是计算层面,一些技术能力较强的 公司开始在寻求解决方案(如:facebook 的corona,和YARN 极其相似),HADOOP 开源社区也在积极寻求解决方案,从2008 年初,就创 建了MAPREDUCE-279 来讨论、跟踪下一代MAP-REDUCE 的发展。本文主要讲述下一代MAP-REDUCE (也称为YARN)的框架设计及代码细 节,主要的阅读对象是开发人员或者对YARN 代码细节感兴趣的同学,一些YARN 的基本知识请参考。 我们首先看下官方给出的一个比较高层面的框架图,从中我们可以看出还是存在一个全局的master 节点,这个节点也会限制计算 节点的规模。目前,我们只能说,在现在的需求下(大约10w计算节点),这个节点应该不会出现问题。在可预计的未来,谁能说

文档评论(0)

wgvi + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档