ChatGPT的过去、现在与未来.docx

ChatGPT的过去、现在与未来

一.??背景介绍

1.1??

基本信息

依据Wiki百科的介绍，ChatGPT是一种尚处于原型阶段的人工智能聊天机器人。ChatGPT由OpenAI公司在2022年11月30日发布。在同样由OpenAI开发的GPT-3.5模型基础上，ChatGPT通过监督学习与强化学习技术进行微调，并提供了客户端界面，支持用户通过客户端与模型进行问答交互。ChatGPT不开源，但通过WebUI为用户提供免费的服务。

1.1.1??

研发组织

OpenAI成立于2015年，由ElonMusk、SamAltman等出资10亿美元成立，致力于研究安全、通用、对人类有益的人工智能技术。OpenAI最早是一家非营利性研究机构，在2019年微软注资10亿美元后，OpenAI转变为以盈利为目的的公司，将部分研究成果，如GPT-3，Codex等产品化并提供付费服务。

1.1.2??

核心技术

ChatGPT最核心的自然语言处理能力（NaturalLanguageProcessing,a.k.a,NLP）由微调（fine-tune）后的GPT-3.5模型提供。GPT-3.5模型是OpenAI在2020年发布的GPT-3模型的一个升级版本。GPT一词的全称是GenerativePre-trainedTransformer，意生成式预训练Transformer模型；其中Transformer指用于NLP任务的一类基于注意力机制（Attention）来提高模型效果的机器学习模型（事实上必威体育精装版的GPT模型也包含除Transformer外的各类NLP模型[1]），Pre-trained指模型经过预训练因此用户可以直接使用，Generative指模型提供包含情感分析、语言翻译、文本生成、命名实体识别等一些列NLP任务中的通用能力。

GPT系列模型自2018年发布以来，就以提供通用的NLP能力为核心。该系列模型通过改进模型结构、增加可训练参数、增加训练样本等方式持续演进，提供更加准确与稳定的NLP能力，GPT-1模型、GPT-2模型、GPT-3模型的演进如下：

表1?GPT系列模型参数

其中，发布于2020年的GPT-3模型划时代地包含了1,750亿个参数，并使用了45TB的训练样本。这样的模型研发开销巨大，外界保守估计仅训练GPT-3模型就需要1200万美元。详细介绍GPT-3的论文中提到，研究者虽然提到GPT-3在训练过程中出现了错误并评估了该错误的影响，但由于训练代价巨大导致无法重新对模型进行训练[2]，GPT-3的训练开销可见一斑。GPT-3发布后，OpenAI对其进行了持续的优化与升级，ChatGPT基于目前较新的GPT-3.5这一版本进行研发。

自2020年GPT-3发布后，OpenAI提供了一些列API接口或应用界面，对付费用户提供GPT-3的NLP能力。

图1?通过GPT-3将自然语言转化为SQL语句

图2?通过GPT-3询问电影的相关消息

图1和图2均为互联网上发布于2020年的GPT-3试用截图，可以看到当时的GPT-3就已经能通过问答的方式，处理多个领域的工作。

1.2??

话题热度

自OpenAI于2022年11月30日发布ChatGPT至今，ChatGPT这一话题一直居高不下。我们通过Google的热词分析发现，在全球范围内“GPT”这一关键词的热度暴涨。

图3?全球GPT一词近5年热度

GoogleTrends的热度数字仅代表相对于图表中指定区域和指定时间内最高点的有哪些信誉好的足球投注网站热度，热度最高时取值为100。由图3可见，ChatGPT自发布后，GPT一词的热度不但远远超过2020年OpenAI发布GPT-3这一具有划时代意义的NLP模型时GPT一词的热度，更远远地超过了MachineLearning一词的热度。在笔者看来，ChatGPT的功能早在2020年就能通过基于GPT-3的应用实现，且和当时的应用同样使用GPT-3系列的模型（旧应用的模型也在伴随GPT-3模型的升级而升级，故这些应用发展到今天应当同样在使用GPT-3.5版本附近的模型），因此ChatGPT在技术上是不存在匹配这种热度的突破的。那么为什么ChatGPT的发布会带来如此罕见的高热度呢？

图4?2022年5月2日Meta发布OPT项目，引用自[3]

在分析这个问题时，笔者注意到2022年5月发生了与GPT模型相关的一个重要事件。自OpenAI于2020年发布GPT-3模型并陆续推出基于GPT-3模型的应用以来，该系列的产品一直是通过付费模式提供给用户的。然而，在2022年5月，Meta复现了GPT-3模型，该模型被命名为OPT（OpenPre-trainedTransformers），同样使用了1750亿参数，