FFA2024分论坛-核心技术 合辑.pdf

抛弃并行度设置:

Flink智能扩展，资源消耗最小化

范瑞ShopeeFlinkRuntime负责人ApacheFlinkPMCMemeber

01为什么需要并行度全托管？

02估算合适的并行度

03高效扩缩容

04生产实践深度优化

05收益分析未来规划

为什么需要并行度全托管?

手动设置并行度的痛点

并行度过高新用户

资源浪费不了解如何设置并行度

并行度过低资源1万+作业

易用性

Lag利用率按照流量和负载评估，人力成本极高

固定的并行度业务逻辑变更

流量波动(小时，天，月)重新评估

!Lag报警后scaleup

!只scaleup不scaledown

仅针对流作业

估算合适的并行度

多少并行度足够？

•Source处理一条数据需要10ms

•单线程的处理能力：每秒100records

•Kafkatopic输入速率：每秒700records

Source输入速率700

并行度7就足够了==

单线程的处理能力100

7合理吗？

多少并行度合适？!

•预期负载：70%

•实际负载=输入速率/总处理能力

•70%=700/1000

期望的总处理能力输入速率/预期负载

合适的并行度==

单线程的处理能力单线程的处理能力

1000700/0.7

10==

100100

下游Task的输入速率=上游Task的输出速率

期望的总处理能力?

期望的总处理能力

输入速率基础处理能力=输入速率/预期负载

期望的当前的