计算机行业DeepSeek-R1，强化学习与知识蒸馏，比肩O1.docx

内容目录

内容目录

DeepSeek-R1发布，对标OpenAIo1正式版 3

大规模强化学习：激发大模型推理潜能 4

DeepSeek-R1-Zero：以强化学习完全取代监管微调 4

DeepSeek-R1：引入冷启动与多阶段训练 5

知识蒸馏技术：让小模型也能“聪明”推理 7

DeepSeek-R1高性价比API定价，极具商业化落地潜力 9

总结和启示：强化学习与知识蒸馏，DeepSeek引领LLM创新之路 10

投资建议 11

风险提示 11

图表目录

图表目录

图1.DeepSeek发布DeepSeek-R1模型 3

图2.DeepSeek-R1与OpenAI同类产品的基准测试比较 3

图3.随着RL训练推进，DeepSeek-R1-Zero的AIME2024基准测试成绩稳定且持续提升 4

图4.DeepSeek-R1-Zero与OpenAI的o1模型的测试成绩比较 5

图5.DeepSeek-R1-Zero中间版本的“顿悟现象” 5

图6.DeepSeek-R1的基准测试成绩在多个维度超越V3以及OpenAI、Anthropic的主流模型 7

图7.DeepSeek-R1蒸馏模型 8

图8.QwQ-32B-Preview与经过强化学习和R1蒸馏Qwen-32B模型的基准测试成绩对比 8

图9.DeepSeek-R1-Distill系列小模型的基准测试成绩 9

图10.DeepSeek-R1与OpenAI同类产品的API价格比较 10

图11.DeepSeek-R1深度思考能力示例 11

DeepSeek-R1发布，对标OpenAIo1正式版

DeepSeek-R1正式发布。1月20日，DeepSeek正式发布了一系列DeepSeek-R1模型，并上传R1系列的技术报告和各种信息。DeepSeek此次共发布三组模型：

DeepSeek-R1-Zero：大规模使用强化学习（RL）技术，没有任何监督微调（SFT）；

DeepSeek-R1：在强化学习前融入冷启动数据，多阶段训练；

DeepSeek-R1-Distill系列：DeepSeek-R1中蒸馏推理能力到小型密集模型，参数规模分别为1.5B、7B、8B、14B、32B和70B。

图

图1.DeepSeek发布DeepSeek-R1模型

数据来源：DeepSeek官网，

DeepSeek-R1模型推理能力优异，比肩OpenAIo1正式版。DeepSeek-R1在AIME2024上获得了79.8%的成绩，略高于OpenAI-o1-1217。在MATH-500上，它获得了97.3%的惊人成绩，表现与OpenAI-o1-1217相当，并明显优于其他模型。在编码相关的任务中，DeepSeek-R1在代码竞赛任务中表现出专家水平，在Codeforces上获得了2029Elo评级，在竞赛中表现优于96.3%的人类参与者。对于工程相关的任务，DeepSeek-R1的表现略优于OpenAI-o1-1217。

图

图2.DeepSeek-R1与OpenAI同类产品的基准测试比较

数据来源：DeepSeek官方，

大规模强化学习：激发大模型推理潜能

DeepSeek-R1-Zero：以强化学习完全取代监管微调

DeepSeek-R1-Zero在技术路线上实现了突破性创新，成为首个完全摒弃监督微调

（SupervisedFine-Tuning，简称SFT）环节、完全依赖强化学习（ReinforcementLearning，简称RL）训练的大语言模型。传统上，SFT作为大模型训练的核心环节，需要先通过人工标注数据进行监督训练，再结合强化学习进行优化，这一范式曾被认为是ChatGPT成功的关键技术路径。而DeepSeek-R1-Zero创新性地采用纯强化学习训练框架，以DeepSeek-V3-Base为基础，通过群组相对策略优化

（GroupRelativePolicyOptimization，简称GRPO）算法实现训练效率与模型性能的双重提升。该算法通过构建智能体群体间的相对优势评估机制，在策略优化过程中最大化群体得分，同时设计了包含准确性奖励和格式规范奖励的多维度奖励模型，确保生成内容在保持正确性的基础上具备清晰的推理逻辑。

图3.随着RL训练推进，DeepSeek-R1-Zero的AIME2024基准测试成绩稳定且持续提升

数据来源：DeepSeek论文《DeepSeek-R