通信-“合成数据+强化学习”：大模型进化的新范式.pdfVIP

证券研究报告|行业深度

gszqdatemark

20240919

年月日

通信

“合成数据+强化学习”：大模型进化的新范式

当地时间9月12日，OpenAI发布新模型系列o1（代号“草莓”），该增持（维持）

模型的特点主要是在给出推理结果前，花更多时间“思考”，产生较长内

部思维链，在解决科学、数学、代码等类问题的表现更好。o1-preview每行业走势

百万token输入15美元，每百万输出token60美元，o1-mini相对便宜，

每百万token输入3美元，每百万token输出12美元。目前ChatGPTPlus通信沪深300

和Team用户可以在模型选取器中手动选择，o1-preview每周限制30条10%

消息，o1-mini每周限制50条消息。2%

o1亮点一：或为OpenAI新模型“Orin”生成合成数据。据The-6%

Information，o1或为OpenAI新模型“Orin”生成合成数据。无独有偶，-14%

我们注意到，OpenAI创始团队出走创办的Anthropic——OpenAI的有力

-22%

竞争对手，2024年6月发布了大模型Claude3.5Sonnet，该模型使用了

合成数据，在多个测试中的表现优于GPT4o。我们发现，在人类生成的数-30%

2023-092024-012024-052024-09

据或将耗尽之际，合成数据还具备“性价比可能更高”“更完整、全面”

“隐私性更好”等优点，尽管存在可能“可能为模型引入噪声”“泛化能作者

力不足”等问题，但能通过“诱导幻觉”“加入数据评估机制”“在训练

过程中积累数据”等方式尝试解决。分析师宋嘉吉

执业证书编号：S0680519010002

o1亮点二：“合成数据+强化学习”，o1或确认大模型进化新范式。市邮箱：songjiaji@

场认为，ScalingLaw（指大模型随着参数的增大而增强能力）只存在于大分析师孙爽

模型训练阶段。但我们发现，根据OpenAI工程师JasonWei，o1使用了执业证书编号：S0680521050001

强化学习（RL）做思维链（ChainofThought）来训练模型；思维链可以邮箱：sunshuang@

使模型在推理阶段实现能力增强，即ScalingLaw可以不止出现在训练阶相关研究

段，也出现在推理阶段。这里我们所说的强化学习（RL），指模型A生成

推理结果后，由模型B给推理结果打分，帮助模型A不断调整参数、迭1、《通信：o1新模型对算力需求几何》2024-09-16

代、进化，分成RLAIF（基于AI反馈的强化学习）和RLHF（基于人类反2、《通信：26年AI算力应用初窥》2024-09-08

馈的强化学习）多种，后者曾因被用于ChatGPT而名声大噪。我们认为，3、《通信：市场对AI算力担心什么？》2024-09-01

o1系列的惊艳面世，或许