DeepSeek自学手册—从理论模型训练到实践模型应用分享.pptx

DeepSeek自学手册

从理论(模型训练)到实践(模型应用)

作者：@ai呀蔡蔡(全平台同名)

03

DeepseekR1

四大使用技巧

06

Deepseek替代方案(在线本地部署)

02

DeepseekR1后提示词的变与不变

05

Deepseek

实际应用场景

01

Deepseekv3和R1是怎么训练出来的

04

13个Deepseek官方提示词样例

注：当前手册的信息更新截至2025年2月10日

目录

Contents

Deepseekv3是什么?

DeepSeekV3是一个强大的MoE语言模型(非推理型模

型)。它在数学、代码等任务上吊打其它开源模型，甚至能和闭源大佬GPT-4o、Claude-3.5-sonnet掰手腕，但训练花的钱还不到600万美元。

注：MoE,全称是Mixture-of-Expe比s,翻译成中文就是“混合专家。你可以把它想象成一个团队，这个团队里有很多专家，每个专家都有自己的专长。当遇到一个问题时，不是所有专家都一起上，而是根据问题的类型，选择最合适的几个专家来解决。这样不仅提高了效率，还提升了性能。

初识Deepseekv3

数据、图表源自：DeepSeek-V3TechnicalRepo比

无额外损耗的负载均衡

前面DeepSeekMoE中提到的多项创新，其中就包括V3才推出的无额外损耗的负载均衡。

简单来说，在训练过程中，DeepSeekMoE会监控每个专家的工作量,进而动态调整

专家使用频率，避免某些专家过劳或

躺平。

DeepseekMOE

V3基础架构之一，同样在DeepSeekV2已经验证有效。

DeepSeekMoE在传统MoE的基础上进行

了多项创新和优化，比如更精细的专家分

工、共享专家等，适配复杂任务，进而提升模型的性能和计算效率。

Multi-HeadLatentAttention(MLA)

V3基础架构之一，在DeepSeekY2已经验证有效。

MLA翻译成中文就是多头潜在注意力，传统模型推理时需缓存大量数据，MLA通过压缩键值对(类似精简笔记)减少内存占用

可以让模型在处理长文本时更高效。

多Token预测(MTP)策略

V3架构创新之一。

传统模型一次预测1个词，DeepSeekV3时预测多个词(类似预判下一步)

升数据利用效率，还能加速生成

Deepseekv3架构

同提

Deepseekv3训练步骤和数据使用

无标注数据集预训练大模型基础大模型通

用精调模型

基于规则的奖励模型：对于可以通

规则进行判别的任务(例如数学题、编程题),采用基于规则的奖励模型

基于模型的奖励模型：对于难以通过规则进行判别的任务(例如开放式问答、

创意写作),则采用基于模型的奖励模型

推理数据：对于数学、代码、逻辑推速零确要复杂推理过程的任务，V3采用了基于R1生成的高质量推理数据

非推理数据：对于创意写作、角色扮演、简单问答等非推理类任务，则用Y2.5生成响应，并由人工标注和校验

训练数据：相比V2,V3提高了数学和编程样本的比例，同时扩展了除英语和中文之外的多语言覆盖范围

预训练

(无监督学习)

精调

(监督学习)

精调

(强化学习)

Menchrarka

·Shet

DeepSeekV2Base

|Qwen25728Bae

LLMA314258Base

DeepSnVSBme

Ardikture

MoE

Dmse

Dmse

MoE

ActiratadParam

21B

728

4258

7B

otalParams

2368

78

4358

6718

English

Pletet

0606

0638

0.542

0548

BBHm

3het

70

78

829

875

MMU

SHhet

784

50

4

871

MMUFedu

5ht

76

832

83

2

MMLUP

OKO

ARC-ay

5shet 3-het5-that

51.4

80.4

563

6

4

528

60

4

64.4

.0

5

ARCCleg

5sho

922

45

453

953

HellSwg

10-sho

67.1

4.8

92

88

PKQAa

het

09

26

5.9

847

WincGrande

Shet

63

23

85