Apache Celeborn在B站的最佳实践-2024大数据大模型峰会.pdf

ApacheCeleborn在B站的

最佳实践

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

蒋晓峰-哔哩哔哩-资深开发工程师

DataFunCon#2024

Contents

目录

ApacheCelebornApacheCeleborn

背景概览生产实践

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

ApacheCelebornApacheCeleborn

原理剖析规划展望

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

01ApacheCeleborn背景概览

传统Shuffle痛点

传统Shuffle过程传统Shuffle缺陷

•MapperTask基于PartitionID对Shuffle数据本地排序，1.依赖大容量本地盘/云盘存储Shuffle数据，数据驻留直至

写到本地磁盘，同时写一个索引文件记录文件里属于每一消费完成，限制存算分离

个Partition的Offset和Length，生成数据文件和Index文

件2.Mapper排序占用较大内存，甚至触发外排，IO放大

•ReduceTask从每个Shuffle数据文件里读取Partition数据3.ShuffleRead高网络连接，逻辑连接数是M*N

4.磁盘随机读，存在大量的随机读盘

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

5.数据单副本，容错性较低

6.和NodeManager同一进程，影响YARN调度的稳定性

传统Shuffle问题

1.不够高效3.不够弹性

•写放大•依赖大容量本地盘

•随机读•无法存算分离

•高网络连接

2.不够稳定

•FetchFailure

•OOM

Celeborn简介概览

Celeborn：大数据引擎统