s1和LIMO带来的产业启示.pdf

行业专题报告/证券研究报告

内容目录

1s1-32B模型：知识蒸馏技术实现小样本高性价比训练3

1.1“预算强制”策略优化“测试时缩放”3

1.2高效推理数据集叠加强大开源基座模型成就s1-32B5

2LIMO：从“更大即更强”到“少即是多”7

2.1从对齐到推理，“少即是多”开拓“激活”推理能力新方向8

2.2高质量数据集与预训练知识，助力“激活”推理潜能10

3产业启示：高质量数据与强大基座模型，缺一不可12

4投资建议13

5风险提示14

图表目录

图1.s1-32B的测试时缩放策略下表现3

图2.s1K数据集和s1-32B模型4

图3.s1-32B的预算强制（budgetforcing）策略示例5

图4.来自OlympicArena天文学子集的s1K样本示例6

图5.s1-32B模型分别在顺序和并行测试时缩放时表现6

图6.LIMO基准测试成绩7

图7.LIMO在样本数量较少情况下，相较NuminaMath有显著的提升8

图8.LIMA和LIMO比较9

图9.RLScaling与LIMO的比较10

图10.不同质量水平的推理链训练模型的准确率比较11

图11.MATH和AIME基准测试中不同问题质量训练的模型的性能比较11

图12.预训练模型选择对数学推理性能的影响12

图13.Qwen2.5-32B-Instruct、DeepSeek-R1和LIMO生成回答比较12

谨请参阅尾页重要声明及财通证券股票和行业评级标准2

行业专题报告/证券研究报告

1s1-32B模型：知识蒸馏技术实现小样本高性价比训

练

TechCrunch于2月5日报道，斯坦福大学与华盛顿大学联合研究团队在李飞飞

的带领下，成功以低于50美元的训练成本开发出高性能AI推理模型s1-32B。该

模型在数学推理和编程能力测试中展现出与OpenAI的o1模型及DeepSeek的R1

模型相匹敌的优异表现。当前语言模型（LMs）的性能提升主要依赖于训练阶段

的大规模计算资源投入，而测试时缩放（test-timescaling）作为一种新兴范式，通

过增加测试阶段的计算量来增强模型性能，已显现出重要的应用潜力。OpenAI的

o1模型即为典型案例，但由于其技术细节未公开，学界多次复现尝试均未能准确

重现其测试时缩放特性。近日，李飞飞团队发布的论文《s1:Simpletest-timescaling》

聚焦于探索实现测试时缩放与强化推理性能的最优路径，并发现s1-32B模型的准