从零构建 DeepSeek R1：训练、公式与可视化全解析.pdf

从零构建DeepSeekR1：训练、公式与可视化全解析

本文中使用手绘流程图和简单计算，帮助你从零理解DeepSeekR1的核心技术。

在整篇文章中我会使用字符串Whatis2+3*4?作为示例，逐步解析DeepSeek技

术报告的每个关键组件。

本文目录

快速概览

DeepSeekV3（MOE）如何思考？

DeepSeekV3作为RL中的策略模型（Actor）

GRPO算法如何工作？

GRPO目标函数解析

DeepSeekR1Zero的奖励建模

规则检查

格式奖励

训练奖励模板

DeepSeekR1Zero的RL训练流程

R1Zero的两个主要问题

冷启动数据

长CoT任务的Few-shot提示

直接提示（DirectPrompting）

后处理优化（PostProcessingRefinement）

监督微调（SupervisedFine-Tuning）

面向推理的强化学习（Reasoning-OrientedRL）

拒绝采样（RejectionSampling）

全场景强化学习（RLforAllScenarios）

蒸馏（Distillation）

快速概览

在深入技术细节之前，先进行快速概览。DeepSeek-R1并非从零训练的，它并不是从无到有

地构建，而是基于已有的强大LLM——DeepSeek-V3进行优化，目标是让其成为推理能力

卓越的模型。

来自作者FareedKhan手绘

为此，他们采用了强化学习（ReinforcementLearning，简称RL），在LLM做出良好推理

时给予奖励，而在表现不佳时给予惩罚。

但这并不是一次简单的训练，而是一个完整的流程，也就是所谓的训练管道（Pipeline）。他

们最初尝试使用纯RL训练，以观察推理能力是否会自然涌现，这一阶段被称为DeepSeek-

R1-Zero，更像是一个实验。随后，在正式的DeepSeek-R1训练中，他们对流程进行了更系

统的设计，分阶段进行训练：先提供一部分初始数据，再进行RL训练，然后引入更多数据，

再进行RL……这个过程类似于逐步升级，不断提升模型能力。

整个训练的核心目标是让LLM在推理和解决问题方面表现得更加出色，提供更智能的回答，

而不仅仅是生成词句。

这就是整个训练流程的简要概述，接下来，我们将深入剖析每个步骤的细节。

DeepSeekV3（MOE）是如何思考的？

如前所述，DeepSeekR1训练并非从零开始，而是基于DeepSeekV3进行优化。因此，我

们需要先了解V3的工作原理，以及为什么它被称为MOE（MixtureofExperts，混合专家

模型）。

DeepSeekV3架构，作者手绘

DeepSeekV3主要依靠两条路径进行推理。当你输入一个问题时，它首先通过一个记忆系统

快速构建上下文，寻找相关信息。可以把这个过程理解为迅速回忆过去遇到的类似情境。

它的核心优势在于决策机制。在理解输入内容后，V3通过一个智能路由器（Router）在两条

路径间进行选择：对于简单任务（如常见问题或基础请求），采用快速处理通道；对于复杂问

题（如深度分析或专业知识），则调用专家系统进行推理。

正是这个智能路由器，使得DeepSeekV3成为MOE（混合专家模型）。因为它能够动态地

将不同的请求分配给最合适的专家模块，以实现高效处理。

对于简单的问题，系统会通过快速通道直接给出简洁的答案，而对于复杂的问题，专家系统会

提供更深入的分析，最终这些答案会被整合成清晰准确的输出结果。

DeepSeekV3在RL中的角色：策略模型（Actor）

现在我们已经了解了DeepSeekV3的基本思维方式，它也是DeepSeekR1训练的起点。这

里的“起点”指的是，它首先被用于训练DeepSeekR1-Zero——这个初始版本存在一些错

误，最终经过优化才形成了正式的DeepSeekR1。