《数据实时处理flink》课件——第三章 Flink的设计与运行原理.pptxVIP

Flink的设计与运行原理;本章将以WordCount程序为主线，介绍Flink的设计与运行原理，主要内容有:Flink的数据流图，Flink分布式架构与核心组件，任务执行与资源划分。;;数据流图

Flink架构和核心组件

任务执行与资源划分;;;分布式环境下并行化物理执行

数据流被切分到多个分区（Partition）

算子被切分为算子子任务（OperatorSubtask），又被称为算子实例

物理执行的基本单元

并行度（Parallelism）：衡量并行切分的多少

;数据在不同算子子任务之间数据交换

常见四种数据交换策略：

前向传播（Forward）

按Key分组（Keyed-Based）

广播（Broadcast）

随机（Random）;数据流图

Flink架构和核心组件

任务执行与资源划分;Master

协调管理

Dispatcher

ResourceManager

JobManager

TaskManager

拥有CPU、内存等计算资源

Flink作业被分发到多个TaskManager上并行执行;启动一个Flink集群，TaskManager进程启动后会将自己注册???Master的ResourceManager

Client提交作业（Application）

Master的Dispatcher接收作业，启动JobManager

JobManager向ResourceManager申请资源，ResourceManager会将闲置资源分配给JobManager

作业转化为物理执行图，计算任务分发部署到多个TaskManager上;Client

Flink主目录下的bin目录中的命令行工具

将用户作业转换为JobGraph

Dispatcher

接收多个作业，为每个作业分配一个JobManager

JobManager

单个作业的协调者，每个作业有一个JobManager

将JobGraph转化为物理执行图ExecutionGraph

向ResourceManager申请资源

管理TaskManager，将具体计算任务分发部署到多个TaskManager上;部署层

Local、Cluster、Cloud

运行时层

分布式运行时

API层

流处理-DataStreamAPI

批处理–DataSetAPI

上层工具

基于DataStream/DataSetAPI的上层工具;数据流图

Flink架构和核心组件

任务执行与资源划分;StreamGraph

根据用户代码生成的图

JobGraph

StreamGraph优化之后生成JobGraph

算子链

ExecutionGraph

JobGraph的分布式并行版本

物理执行图

部署到TaskManager上的具体计算任务;算子链

将相近的算子子任务链接在一起

链接后形成任务（Task）

Task以线程的形式被TaskManager调度

可以降低算子子任务之间的传输开销;TaskSlot

TaskManager下有多个TaskSlot

每个TaskSlot中运行着某些Task

Slot之间的内存??互隔离

Slot内部共享TCP连接、心跳等

允许用户设置TaskManager中的Slot的数目

建议将TaskManager下Slot数设置为CPU核心数;多个Task共享一个Slot

数据交换成本更低

右图中，Source和FlatMap计算量不大，WindowAggregation计算量较大，资源互补

增加并行度后，在同样的计算资源基础上，可以部署更多算子实例，处理的数据量更大;并行度

逻辑视图并行切分为多个算子子任务

每个算子子任务处理输入数据的一部分

输入数据量增大时，可适当增大并行度

槽位数目

针对TaskManager

设置资源切分粒度

;本章中，我们以WordCount案例为主线分析了Flink的设计和运行原理。我们重点介绍了一个作业从数据流图到物理执行图的转化过程，并介绍了转化过程中所涉及的数据结构。Flink是基于主从架构的，我们通过一个作业提交的案例，介绍了Flink的核心组件各自的主要功能，包括Client、Dispatcher、JobManager、ResourceManager和TaskManager。最后，我们介绍了Flink的任务执行和资源划分原理，重点分析了算子子任务是如何部署到TaskSlot上。Flink提供了算子链和槽位共享等方式，允许开发者优化资源划分过程。

;谢谢