千亿参数 LLM 的训练效率优化.pdf

千亿参数LLM的训练效率优化

演讲人：张力寰

零一万物/AIInfra分布式训练优化架构师

目录

CONTENTS

01模型训练硬件利用率影响因素02分布式训练效率提升

03FP8训练经验分享04MoE训练经验分享

05Goodput提升06总结与展望

模型训练硬件利用率影响因素

Llama3.1

•92页的技术报告

•最大405B的模型

•16KH100训练集群

•54天的预训练,466次任务中断

•MFU:40%左右

•Goodput:90%左右的有效训练时间占比

/pdf/2407.21783

MFU

•ModelFLOPSUtilization，模型算力利用率

•FLOPS(FloatingPointOperationsPerSecond)

표푏푠푒푒怀�ℎ표ℎ푝�

푀�

�ℎ푒표푒�㘴㘱൭푚㘱푥푚푚�ℎ표ℎ푝�

/pdf/2407.21783

/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet

Goodput

•AmetrictomeasureAIsystemefficiency(Google)

•SchedulingGoodput

•RuntimeGoodput

•ProgramGoodput

/blog/products/ai-machine-learning/goodput-metric-as-measure-of-ml-productivity

分布式训练效率提升

DataParallelism

•DDP:DistributedDataParallel

•模型较小，数据量较大

/nemo-framework/user-guide/latest/nemotoolkit/features/parallelisms.html

TensorParallelism

•Megatron-LM-1

•拆分均匀，但通信量大

/pdf/1909.08053

PipelineParallelism

•GPipe(Google),PipeDream(Microsoft)

•Megatron-LM-2

•通信量低，但会引入bubble

/pdf/1806.03377

/pdf/1811.06965

/pdf/2104.04473

ExpertParallelism

•SwitchTransformers(Google)

•MegatronExpertPara