DeepSeek-R1：通过强化学习激励大型语言模型推理能力.docx

DeepSeek-R1:通过强化学习激励大型语言模型推理能力

DeepSeek-AI

research@

Abstract

我们介绍了我们的第一代推理模型，DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero

是一个通过大规模强化学习(RL)训练的模型，在没有监督微调(SFT)作为预训练步骤的情况下，展现出了卓越的推理能力。通过RL训练，DeepSeek-R1-Zero自然涌现出许多强大且有趣的推理行为。然而，它也面临诸如可读性较差、语言混杂等挑战。为了解决这些问题并进一步提升推理性能，我们引入了DeepSeek-R1,它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R1在推理任务上的表现可与OpenAI-o1-1217相媲美。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1以及从DeepSeek-R1蒸馏而来的六个密集模型(1.5B、7B、8B、14B、32B、70B),这些模型基于Qwen和Llama训练。

Figure1|DeepSeek-R1的基准性能。

2

Contents

1引言3

1.1贡献 3

1.2评估结果总结 4

2方法5

2.1概述 5

2.2DeepSeek-R1-Zero:基础模型上的强化学习 5

2.2.1强化学习算法 5

2.2.2奖励建模 5

2.2.3训练模板 6

2.2.4DeepSeek-R1-Zero的性能、自我进化过程和顿悟时刻 6

2.3DeepSeek-R1:带有冷启动的强化学习 8

2.3.1冷启动 9

2.3.2面向推理的强化学习 9

2.3.3拒绝采样和监督微调 10

2.3.4适用于所有场景的强化学习 10

2.4蒸馏：赋予小型模型推理能力 11

3实验11

3.1DeepSeek-R1评估 12

3.2蒸馏模型评估 13

4讨论14

4.1蒸馏与强化学习对比 14

4.2失败尝试 14

5结论、局限性及未来工作15

A贡献和致谢20

B结论、局限性及未来工作22

3

1.引言

近年来，大型语言模型(LLMs)经历了快速迭代和演变(Anthropic,2024;Google,2024;OpenAI,2024a),逐渐缩小了通向通用人工智能(AGI)的差距。

最近，后训练已成为完整训练流程中的一个重要组成部分。它已被证明可以在推理任务上提高准确性，与社会价值观保持一致，并适应用户偏好，同时相对于预训练所需的计算资源相对较少。在推理能力方面，OpenAI的o1系列模型(OpenAI,2024b)首次引入了通过增加链式思维推理过程长度来实现推理时扩展的方法。这种方法在数学、编程和科学推理等各种推理任务中取得了显著改进。然而，有效的测试时扩展仍然是研究社区的一个开放问题。一些先前的工作探索了各种方法，包括基于过程的奖励模型(Lightmanetal.,2023;Uesatoetal.,2022;Wangetal.,2023)、强化