OpenAI o1技术分析研讨.docx

OpenAIo1技术分析研讨

陈博远

北京大学2022级“通班”

主要研究方向：大语言模型对齐与可扩展监督

https://cby-pku.github.io//

北大对齐小组

Outline

●Introduction:OpenAIo1开启「后训练」时代RL新范式·OpenAIo1表现分析

·Post-TrainingScalingLaw

·

●技术细节分析

Self-playRLRewardModel

.ProcessRewardModel\GenerativeRewardModel\CriticModelSelf-Critiquing

CoTMCTSApplication

STaRQuietSTaR

OpenAIo1技术路线推演●潜在前景方向

大模型的天花板在哪里\合成数据SynthesizedData\推理有哪些信誉好的足球投注网站Test-timeSearchChainofReasoningforAISafety

●未来技术方向分析

OpenAIo1开启「后训练」时代RL新范式

●RL的无限潜力

DemisHassabis:AtahighlevelyoucanthinkofGeminiascombiningsomeofthestrengthsofAlphaGo-typesystemswiththeamazing

languagecapabilitiesofthelargemodels.Wealsohavesomenew

AlphaGo:RL+围棋

Gemini的训练：TreeSearch+RL增强模型推理能力OpenAIo1的训练：Q*\TreeSearch

·OpenAIo1运用的技术关键还是在于RL的有哪些信誉好的足球投注网站与学习机制

基于LLM已有的推理能力，迭代式的Bootstrap模型产生合理推理过程(Rationales)的能力；

并将Rationales融入到训练过程内，让模型学会进行推理；

innovationsthataregoingtobeprettyinteresting.

gpt40o1improvement而后再运用足够强大的计算量实现Post-Training

gpt40o1improvement

PhD-LevelScenceQuestionsMLBenchmarks(GPQADiamond)Scaling。类似

PhD-LevelScenceQuestions

MLBenchmarks(GPQADiamond)

●后训练扩展律Post-TrainingScalingLaws已经出现!

pass@1accuracypass@1accuracy●模型学习的是产生合理推理的过程，Search在其中的作用是诱导

pass@1accuracy

pass@1accuracy

合理推理过程的产生或构建相应的偏序对形成细粒度奖励信号。

●模型的Bootstrap有助于构建新的高质量数据，并且新的Rationales数据促进了模型进一步提升能力。

[1]STaR:BootstrappingReasoningWithReasoning/abs/2203.14465

Exams

percentrawscore

MMLUCategories

pass@1accuracy

OpenAIo1表现分析

●在数学代码等复杂推理能力上取得巨大进步

●在竞争性编程问题(Codeforces)中排名第89个百分位

●在美国数学奥林匹克竞赛(AIME)资格赛中跻身美国前500名学生之列

●在物理、生物和化学问题的基准(GPQA)上超过了人类博士水平的准确性。

●但是，在APEnglishLa