2025年DeepSeek-R1、Kimi+1.5及类强推理模型开发解读报告-北京大学.pptx

DeepSeek-R1\Kimi1.5及

类强推理模型开发解读;

?DeepSeek-R1开创RL加持下强推理慢思考范式新边界

?DeepSeek-R1Zero及R1技术剖析

?Pipeline总览\DeepSeek-V3Base\DeepSeek-R1Zero及R1细节分析

?RL算法的创新：GRPO及其技术细节

?DeepSeek-R1背后的InsightsTakeaways：RL加持下的长度泛化\推理范式的涌现

?DeepSeek-R1社会及经济效益

?技术对比探讨

?STaR-basedMethodsvs.RL-basedMethods强推理路径对比(DS-R1\Kimi-1.5\o-series)

?蒸馏vs.强化学习驱动：国内外现有各家技术路线对比分析及Takeaways

?PRMMCTS的作用

?从文本模态到多模态

?其他讨论：Over-Thinking过度思考等

?未来方向分析探讨

?模态穿透赋能推理边界拓展：Align-DS-V

?合成数据及Test-TimeScaling:突破数据再生产陷阱

?强推理下的安全：形式化验证FormalVerification\审计对齐DeliberativeAlignment

?补充拓展：DeepSeek-V3解读;

?OpenAIo1开启后训练Post-Training时代下的RL新范式：后训练扩展律Post-TrainingScalingLaw

?DS-R1独立发现了一些通往o1路上的核心理念，并且效果还好到受到了OpenAI的认可

?如何通过有效的Test-TimeScaling和Train-TimeScaling提升模型的推理能力？

?得益于纯大规模强化学习，DeepSeek-R1具备强大推理能力与长文本思考能力，继开源来备受关注。

?DeepSeekR1-Zero和R1的出现再次证明了强化学习的潜力所在：

?R1-Zero从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调(SFT)；

?随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力；

?随着推理路径增长，模型表现出自我修复和启发式有哪些信誉好的足球投注网站的能力；;

的惊人成绩，表现与OpenAI-o1-1217相当。

?在编码相关的任务中表现出专家水平，在Codeforces上获得了2029Elo评级，在竞赛中表现优于96.3%的人类参与者

?DeepSeek-R1在知识类问答上推动科学探索边界：

?MMLU\MMLU-Pro\GPQADiamond等STEM-related榜单上取得良好表现

?R1展现出强推理模型在AI-DrivenResearch的潜力

?在长文本依赖任务如FRAMEs和事实性推断任务Simple-QA上表现突出;

?Pre-TrainingScalingLaws:预训练模型上广泛观察到的现象，协调了计算量C、模型参数量N和数据大小D之间的关系;

?Post-Training阶段，随着训练时计算量(来自RL的Training阶段)和Test-Time计算量(例如Test-TimeSearch)的增长，模型性能(例如数学推理能力)也会随之提升

?Post-TrainingScalingLaws下训练时计算量多了一个新的变量：Self-Play探索时LLMInference的计算量;

?随着模型尺寸逐渐增大，预训练阶段参数ScalingUp带来的边际收益开始递减；如果想要深度提升模型推理能力和长程问题能力，基于RL的Post-Training将会成为下一个突破点。

?自回归模型在数学推理问题上很难进步的一点在于没有办法进行回答的自主修正，如果仅是依靠生成式方法和扩大参数规模，那么在数学推理任务上带来的收益不会太大。所以需要寻找额外的Scaling;

DeepSeek-R1Zero:无需监督微调SFT，纯强化学习驱动的强推理模型;

?奖励建模：基于规则的奖励(Rule-BasedReward):准确率奖励+格式奖励

?准确率奖励AccuracyRewards:判断答案是否是正确的

?格式奖励FormatRewards:规劝模型生成答案的过程是think和/think

?没有使用RewardModel,因为ORM和PRM等基于神经网络的都可能遭受rewardhac