DeepSeek-V3技术报告（中文版）.docx

DeepSeek-V3技术报告

DeepSeek-AI

research@

Abstract

我们介绍了DeepSeek-V3,这是一个拥有671B总参数的强大的专家混合(MoE)语言模型，每个令牌激活37B参数。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE架构，这些在DeepSeek-V2中得到了充分验证。此外，DeepSeek-V3开创了一种无需辅助损失的负载均衡策略，并设定了多令牌预测训练目标以提升性能。我们在14.8万亿个多样且高质量的令牌上预训练DeepSeek-V3,随后通过监督微调和强化学习阶段充分发挥其能力。全面评估表明，DeepSeek-V3超越了其他开源模型，并实现了与领先闭源模型相当的性能。尽管性能优异，DeepSeek-V3仅需2.788MH800GPU小时进行完整训练。此外，其训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可恢复的损失峰值或进行任何回滚。模型检查点可在/deepseek-ai/DeepSeek-V3获得。

Accuracy/Percentile(%)DeepSeek-V3DeepSeek-V2.5Qwen2.5-72B-InstUama-3.

Accuracy/Percentile(%)

DeepSeek-V3DeepSeek-V2.5Qwen2.5-72B-InstUama-3.1-405B-InstGPT4o-0513Claude-3.5-Sonnet-1022

100

90.2

78.0

z4.7

726

662

59.1

60

51.6

5119

49.0

42.0

4041.339.238.8

35.6

24,825.3

23.6

23323.3

20

16.716.0

9.3

0

MMLU-Pro

(EM

SWE-benchVerified

(Resolvedl

GPQA-Diamond

IPassg1

AIME2024

Passo1)

MATH500

EM)

Codeforces

IPercenbie)

82220

73.874.6

75.9

n?733

20.3

78.3

65.0

50.8

80.0

80

Figure1|DeepSeek-V3及其同类产品的基准性能。

2

Contents

1引言4

2架构6

2.1基本架构 6

2.1.1多头潜在注意力 6

2.1.2DeepSeekMoE与无辅助损失的负载平衡 8

2.2多令牌预测 10

3基础设施11

3.1计算集群 11

3.2训练框架 11

3.2.1DualPipe和计算-通信重叠 12

3.2.2高效实现跨节点全到全通信 13

3.2.3极小开销下的极大内存节省 13

3.3FP8训练 14

3.3.1混合精度框架 15

3.3.2来自量化和乘法的改进精度 15

3