DeepSeek系统软件优化总结_翟季冬.pdf

DeepSeek系统软件优化总结

翟季冬

清华大学计算机系

＞1＜

DeepSeekV3公开的预训练成本

按照H800GPU每小时每卡2美元租赁成本，全部训练成本：5,576,000美元

不包括前期探索模型架构、消融实验等开销

预训练时间估计：

2048张H800计算：~54天

10000张H800计算：~11天

DeepSeek公开的V3训练成本

＞2＜

主要模型参数

DeepSeekV3模型参数：

671B参数（GPT-3：175B、GPT-4：1.76T?）

每个token激活37B参数、~5.5%

61层Transformer、Hiddendimension：7168

FFNàMoE：1共享专家（sharedexpert）+256路由专家（routedexperts）

每个token激活8个路由专家

＞3＜

DeepSeek模型架构

DeepSeek架构：MLA(multi-headlatentattention)+MoE(mixtureof

experts)

＞4＜

DeepSeekMoE架构

DeepSeekMoE架构

共享专家+路由专家MoE架构

＞5＜

并行训练框架

并行训练框架HAI-LLM：IB

50GB/s

流水线并行：16路

专家并行：64路（跨8个物理节点）

数据并行：ZeRO-1

NVLink

张量并行：No（通信开销大）160GB/s

网络拓扑结构

＞6＜

主要系统优化方法

负载均衡

通信优化

内存优化

计算优化

＞7＜

负载均衡优化

负载均衡是MoE训练的一个主要挑战

提出Auxiliary-Loss-FreeLoadBalancing

核心思想：引入一个ExpertBias

è保证专家负载均衡

Bias只影响专家路由、不产生任何梯度影响

动态调整ExpertBias

降低bias：如果对应专家overloaded

增大bias：如果对应专家underloaded