DeepSeek R1深度解析及算力影响几何.pptxVIP

DeepSeekR1深度解析及算力影响几何;

■核心观点：Deepsek发布深度推理能力模型。R1-Zero采用纯粹的强化学习训练，证明了大语言模型仅通过强化学习也可以有强大的推

理能力，DeepSeek-R1经历微调和强化学习取得了与OpenAl-01-1217相媲美甚至超越的成绩。DeepSeekRI训练和推理算力需求较低，主

要原因是DeepSeekR1实现算法、框架和硬件的优化协同。过去的预训练侧的scalinglaw正逐步迈向更广阔的空间，在深度推理的阶段，

模型的未来算力需求依然会呈现爆发式上涨，充足的算力需求对于人工智能模型的性能进步依然至关重要。

Deepseek发布深度推理能力模型，性能和成本方面表现出色。Deepsek发布两款具备深度推理能力的大模型R1-Zero和DeepSeek-R1。Rl-Zero采用纯粹的强化学习训练，模型效果逼近OpenAIol模型，证明了大语言模型仅通过RL,无SFT,大模型也可以有强大的推理能力。但是R1-Zero也存在可读性差和语言混合的问题，在进一步的优化过程中，DepSeek-V3-Base经历两次微调和两次强化学习得到R1模型，主要包括冷启动阶段、面向推理的强化学习、拒绝采样与监督微调、面向全场景的强化学习四个阶段，R1在推理任务上表现出色，特别是在AIME2024、MATH-500和Codeforces等任务上，取得了与OpenAI-01-1217相媲美甚至超越的成绩。

■国产模型迈向深度推理，策略创新百花齐放。在DeepsekRl-Zero模型中，采用的强化学习策略是GRPO策略，取消价值网络，采用分组相对奖励，专门优化数学推理任务，减少计算资源消耗；KIM1.5采用Partialrollout的强化学习策略，同时采用模型合并、最短拒绝采样、DPO和long2shortRL策略实现短链推理；Qwen2.5扩大监督微调数据范围以及两阶段强化学习，增强模型处理能力。

DeepSeekR1通过较少算力实现高性能模型表现，主要原因是DeepSeekR1实现算法、框架和硬件的优化协同。DeepSeekR1在诸多维度上进行了大量优化，算法层面引入专家混合模型、多头隐式注意力、多token预测，框架层面实现FP8混合精度训练，硬件层面采用优化的流水线并行策略，同时高效配置专家分发与跨节点通信，实现最优效率配置。当前阶段大模型行业正处于从传统的??成式模型向深度推理模型过渡阶段，算力的整体需求也从预训练阶段逐步过渡向后训练和推理侧，通过大量协同优化，DeepSeekR1在特定发展阶段通过较少算力实现高性能模型表现，算力行业的长期增长逻辑并未受到挑战。过去的预训练侧的scalinglaw正逐步迈向更广阔的空间，在深度推理的阶段，模型的未来算力需求依然会呈现爆发式上涨，充足的算力需求对于人工智能模型的性能进步依然至关重要。

■风险提示：大模型技术发展不及预期、商业化落地不及预期、政策监管力度不及预期、数据数量与数据质量不及预期;

第一章国内模型深度推理发展现状4

第二章低算力需求缘起及长期算力观点20

第三章相关问答案例27

第四章风险提示33;

国内模型深度推理发展现状4;

R1-Zero验证了大模型仅通过RL就可实现强大推理能力

■Deepseek发布两款具备深度推理能力的大模型R1-Zero和DeepSeek-R1。

R1-Zero的训练，证明了仅通过RL,无SFT,大模型也可以有强大的推理能力。在AIME2024上，R1-Zero的pass@1指标从15.6%提升至71.0%,经过投票策略(majorityvoting)后更是提升到了86.7%,与OpenAI-o1-0912相当。

√架构思路：没有任何SFT数据的情况下，通过纯粹的强化学习。

√算法应用：直接在DeepSeek-V3-Base模型上应用GRPO算法进行强化学习训练。

√奖励机制：使用基于规则的奖励机制，包括准确性奖励和格式奖励，来指导模型的学习。

√训练模板：采用了简洁的训练模板，要求模型首先输出推理过程(置于标签内),然后给出最终答案(置于标签内)。

图：R1-Zero在AIME2024基准测试