Hadoop大数据原理与应用课件-第5章统一资源管理和调度框架YARN(2020春).pptx

第5章统一资源管理和调度框架YARN《Hadoop大数据原理与应用》西安电子科技大学出版社【知识与能力要求】第5章 统一资源管理和调度框架YARN5.1 初识YARN5.2 YARN体系架构5.3 YARN工作流程5.4 实战YARN5.5 YARN新特性5.6 其它统一资源管理调度框架5.1 初识YARN针对MapReduce 1.0在可用性、可扩展性、资源利用率、框架支持等方面的不足，对MapReduce 1.0的架构进行了重新设计，提出了全新的资源管理和调度框架YARN。YARN是Hadoop 2.0的资源管理和调度框架，是一个通用的资源管理系统，在其上可以部署各种计算框架，它可为上层应用提供统一的资源管理和调度，它的引入为集群高可用性、可扩展性、资源利用率和数据共享等方面带来了很大好处。5.1.1 MapReduce 1.0存在的问题在Hadoop 1.0中，MapReduce采用Master/Slave架构，有两类守护进程控制作业的执行过程，即一个JobTracker和多个TaskTracker。JobTracker负责资源管理和作业调度；TaskTracker定期向JobTracker汇报本节点的健康状况、资源使用情况、任务执行情况以及接受来自JobTracker的命令并执行。随着集群规模负载的增加，MapReduce JobTracker在内存消耗、扩展性、可靠性、性能等方面暴露出各种缺点，具体包括以下几个方面。（1）单点故障问题。JobTracker只有一个，它负责所有MapReduce作业的调度，若这个唯一的JobTracker出现故障就会导致整个集群不可用。（2）可扩展性瓶颈。业内普遍总结出当节点数达到4000，任务数达到40000时，MapReduce 1.0会遇到可扩展性瓶颈，这是由于JobTracker“大包大揽”任务过重，既要负责作业的调度和失败恢复，又要负责资源的管理分配。当执行过多的任务时，需要巨大的内存开销，这也潜在增加了JobTracker失败的风险。（3）资源划分不合理。资源（CPU、内存）被强制等量划分为多个Slot，每个TaskTracker都配置有若干固定长度的Slot，这些Slot是静态分配的，在配置的时候就被划分为Map Slot和Reduce Slot，且Map Slot仅能用于运行一个Map任务，Reduce Slot仅能用于运行一个Reduce任务，彼此之间不能使用分配给对方的Slot。这意味着，当集群中只存在单一Map任务或Reduce任务时，会造成资源的极大浪费。（4）仅支持MapReduce一个计算框架。MapReduce是一个基于Map和Reduce、适合批处理、基于磁盘的计算框架，不能解决所有场景问题，而一个集群仅支持一个计算框架，不支持其他类型的计算框架如Spark、Storm等，造成集群多、管理复杂，且各个集群不能共享资源，造成集群间资源浪费。5.1.2 YARN简介为了解决MapReduce 1.0存在的问题，Hadoop 2.0以后版本对其核心子项目MapReduce的体系架构进行了重新设计，生成了MRv2和YARN。Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop 2.0的资源管理和调度框架，是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了很大好处。5.1.2 YARN简介MapReduce 1.0YARNJobTrackerResourceManager、ApplicationMaster、Timeline ServerTaskTrackerNodeManagerSlotContainerYARN设计的基本思路就是“放权”，即不让JobTracker承担过多功能，把MapReduce 1.0中JobTracker三大功能资源管理、任务调度和任务监控进行拆分，分别交给不同的新组件承担。重新设计后得到的YARN包括ResourceManager、ApplicationMaster和NodeManager，其中，ResourceManager负责资源管理，ApplicationMaster负责任务调度和任务监控，NodeManager负责承担原TaskTracker功能，且原资源被划分的Slot重新设计为容器Container，NodeManager能够启动和监控容器Container。另外，原JobTracker也负责存储已完成作业的作业历史，此功能也可以运行一个作业历史服务器作为一个独立守护进程来取代JobTracker，YARN中与之等价的角色是时间轴服务器Timeline