20250320-AiDD-计算机行业2024AI+研发数字峰会：基于eBPF和Agent构建LLM训练推理优化体系.pdfVIP

基于eBPF和Agent构建

LLM训练推理优化体系

向阳云杉网络

演讲嘉宾

向阳

清华大学博士/云杉网络研发VP

清华大学博士，云杉网络研发VP，DeepFlow开源社区负责人。曾在国

际顶级学术会议ACMSIGCOMM、ACMIMC上发表可观测性方向的学

术论文，现负责可观测性产品DeepFlow，致力于打造一款为云原生和

AI应用而生的零侵扰可观测性产品。

1.背景：训练和推理的效率挑战

2.现状：传统解决方案和工具的问题

目录3.方法：eBPF构建零侵扰可观测性

CONTENTS4.实践：PyTorch全栈剖析和追踪

5.探索：Agent自动优化ML代码

PART01

背景：训练和推理的效率挑战

LLM训练开销大、效率低

GPT-4Llama-3.1

参数1.8T405B

GPU25KA10016KH100

时长90~100天54天

MFU32%~36%38%~43%

•EverythingWeKnowAboutGPT-4-Klu.ai

•GPT4-AllDetailsLeaked

•TheLlama3HerdofModels

148/54*365/16384=6%

训练时间长：数月GPU数量多：数万

(148+72+19+17+6+6)/54*365/16384=11%

GPU年化故障高：

模型参数大：万亿GPU利用率低：40%

6%~11%

代码层面训练低效的主要原因

计算效率

显存拷贝

•YanjieGao(MicrosoftResearch)etal,ACMICSE2024,网络传输

AnEmpiricalStudyonLowGPUUtilizationofDeepLearningJobs.

•YanjieGao(MicrosoftResearch)etal,ACMICSE2023,

AnEmpiricalStudyonQualityIssuesofDeepLearningPlatform.

如何知晓你的训练任务是否存在这些问题？

LLM推理开销大、时延高

Llama8B70B405B80GB:1GPUTimeToFirstTo