二零二三年 优质公开课Shuffle过程详解.pptx

Shuffle过程详解;1.掌握Map-Shuffle的相关定义2.掌握Reduce-Shuffle 的相关定义;1. Map-Shuffle2. Reduce-Shuffle ;Map-Shuffle;Map-Shuffle;;① MapTask完成任务数超过总数的5%后，开始调度执行ReduceTask任务 ② 各Reduce Task 并行拉取数据 每个ReduceTask默认启动5个copy线程到已完成的MapTask任务节点上分别copy一份属于自己的数据（使用Http的方式） ③ 保存数据先到memory buffer 再merge到磁盘 先buffer后磁盘，执行combiner（如果有） ④ 启动磁盘到磁盘的Merge生成最终的文件 ⑤ shuffle过程结束。之后运行reduce方法，执行相应的业务逻辑 ;Reduce端的shuffle主要包括三个阶段，copy、sort(merge)和reduce。 首先要将Map端产生的输出文件拷贝到Reduce端 接下来就是sort阶段，也成为merge阶段，因为这个阶段的主要工作是执行了归并排序 最后就是Reduce过程了;1. Shuffle过程 -- Map-Shuffle -- Reduce-Shuffle