ChatGPT原理解析介绍.docx

ChatGPT原理解析

尽管OpenAI没有公布ChatGPT的论文和相关的训练和技术细节，但我们可以从其兄弟模型InstructGPT以及网络上公开的碎片化的情报中寻找到实现ChatGPT的蛛丝马迹。根据OpenAI所言，ChatGPT相对于InstructGPT的主要改进在于收集标注数据的方法上，而整个训练过程没有什么区别，因此，可以推测ChatGPT的训练过程应该与InstructGPT的类似，大体上可分为3步：

1.预训练一个超大的语言模型；

2.收集人工打分数据，训练一个奖励模型；

3.使用强化学习方法微调优化语言模型。

1预训练超大语言模型

从GPT/Bert开始，预训练语言模型