OpenAI o1技术分析研讨.pdf

OpenAIo1技术分析研讨

陈博远

北京大学2022级“通班”

主要研究方向：大语言模型对齐与可扩展监督

https://cby-pku.github.io/

/

北大对齐小组

Outline

⚫Introduction:OpenAIo1开启「后训练」时代RL新范式

⚫OpenAIo1表现分析

⚫Post-TrainingScalingLaw

⚫技术细节分析

➢Self-playRL

➢RewardModel

◆ProcessRewardModel\GenerativeRewardModel\CriticModelSelf-

Critiquing

➢CoTMCTSApplication

➢STaRQuietSTaR

➢OpenAIo1技术路线推演

⚫潜在前景方向

➢大模型的天花板在哪里\合成数据SynthesizedData\推理有哪些信誉好的足球投注网站Test-timeSearch

➢ChainofReasoningforAISafety

⚫未来技术方向分析

2

OpenAIo1开启「后训练」时代RL新范式

⚫RL的无限潜力

➢AlphaGo:RL+围棋

➢Gemini的训练：TreeSearch+RL增强模型推理能力

➢OpenAIo1的训练：Q*\TreeSearch

⚫OpenAIo1运用的技术关键还是在于RL的有哪些信誉好的足球投注网站与学习机制

➢基于LLM已有的推理能力，迭代式的Bootstrap模型产生

合理推理过程（Rationales)的能力;

➢并将Rationales融入到训练过程内，让模型学会进行推理;

➢而后再运用足够强大的计算量实现Post-Training阶段的

Scaling。类似于STaR[1]的扩展版本

⚫后训练扩展律Post-TrainingScalingLaws已经出现!

⚫模型学习的是产生合理推理的过程，Search在其中的作用是诱导

合理推理过程的产生或构建相应的偏序对形成细粒度奖励信号。

⚫模型的Bootstrap有助于构建新的高质量数据，并且新的

Rationales数据促进了模型进一步提升能力。

[1]STaR:BootstrappingReasoningWithReasoning/abs/2203.144653

OpenAIo1表现分析

⚫在数学代码等复杂推理能力上取得巨大进步

⚫在竞争性编程问题（Codeforces）中排名第89个百分位

⚫在美国数学奥林匹克竞赛（AIME）资格赛中跻身美国前500名学生之列

⚫在物理、生物和化学问题的基准（GPQA）上超过了人类博士水平的准确性。

⚫但是，在APEnglishLang\APEnglishLit这类强指令跟随能力的表现没有明显提升，为什么？

[1]/index/learning-to-reason-with-llms/4

Post-TrainingScalingLaw

⚫Questions

➢回顾Pre-Training阶段的ScalingLaw

➢为什么我们需要Post-TrainingScalingLaw

➢Post-TrainingScalingLaw是否存在？如果存在，那么这个模型性能的表现主要

和什么有关？

5

回顾：Pre-Training阶段ScalingLaw

⚫ScalingLaws:预训练模型上广泛观察到的现象，协调了计算量