万字长文：AI产品经理视角下的ChatGPT全解析.pdf

万字长文：AI产品经理视角下的ChatGPT全解析

最近一段时间持续在关注两个技术方向：

1.ChatGPT所代表的大语言模型对NLP领域的推动

2.Diffusion算法对图像领域的推动

今天这篇会先展开说一说ChatGPT，大致上包含以下方面：

1.讲明白ChatGPT的技术原理（放心，是科普向的原理，没有任

何公式）

2.说明白ChatGPT的技术到底厉害在哪里

3.ChatGPT可能的落地应用方向

4.AI产品经理在这波浪潮中可以做些什么

对技术不感兴趣的可以直接滑动到屏幕将近一半的位置阅读第三部分

和第四部分。

前言：一个AI产品经理的触动

2022年11月30日，ChatGPT发布，5天内涌入100W用户。

他拥有持续的上下文对话能力，同时支持文章写作、诗词生成、代码生

成等能力。

如果用旧技术去理解他，我们通常会认为他的背后是由复合AgentAgent组

合起来支撑的。

复合Agent是什么意思呢？即有若干个术业有专攻的Agent：有一个

负责聊天对话的，一个负责诗词生成的，一个负责代码生成的，一个

负责写营销文案的等等等等。

每个Agent只擅长做自己的那部分事情，而在用户使用的过程中，系

统会先判定用户的意图是什么，应该是哪个Agent，然后再将用户的命

令分发给对应的agent去解决并提供答案。

因此看起来是很厉害的机器人，背后其实是若干个术业有专攻的机器人。

事实上Siri、小爱、小度，小冰甚至包括各个平台的客服机器人都是这

种模式。这样当你要上线一个新能力（例如写古诗），你只需要新增训

练一个Agent，然后将这个Agent接入到总控的分类意图器下就行。

这也是当前时代的一个缩影，不管外行人如何看待你从事的行业，不管

媒体是如何一次次人云亦云地说警惕AI取代人类，你一直都知道，你

在做的只是训练出一个术业有专攻的机器人而已，离真正的人工智能十

万八千里。

但ChatGPT的能力不再是这种模式了，他所采用的模式是大语言模型

+Prompting。所有的能力通过一个模型实现，背后只有一个什么都会

的机器人（即大语言模型），并支持用户借助文字下达命令（即

Prompting，提示/指示）。

虽然这种能力的表现还不算完美，但是他开启了一条一种通向“通用型

人工智能”的道路，曾经科幻故事里的Jarvis，moss好像真的有了那

么一点可能。而这才是7年前，我踏入这个行业所憧憬的东西啊。

可能你对我的震撼有点无法理解，我接下来会讲明白他的技术原理，带

你慢慢感知这项技术的厉害之处，下面正式进入正文。

第一部分：ChatGPT的技术原理

首先，我们要弄明白，NLP任务（自然语言处理，AI的一个技术领域，

即文本类的AI任务）的核心逻辑是一个“猜概率”的游戏。

比如说，“我今天被我老板___”，经过大量的数据训练后，AI预测空

格出会出现的最高概率的词是“CPU了”，那么CPU就会被填到这个

空格中，从而答案产生——“我今天被我老板CPU了”。

虽然非常不可思议，但事实就是这样，现阶段所有的NLP任务，都不

意味着机器真正理解这个世界，他只是在玩文字游戏，进行一次又一次

的概率解谜，本质上和我们玩报纸上的填字游戏是一个逻辑。只是我们

靠知识和智慧，AI靠概率计算。

而在目前的“猜概率”游戏环境下，基于大型语言模型（LLM，Large

LanguageModel）演进出了最主流的两个方向，即Bert和GPT。

其中BERT是之前最流行的方向，几乎统治了所有NLP领域，并在自

然语言理解类任务中发挥出色（例如文本分类，情感倾向判断等）。

而GPT方向则较为薄弱，最知名的玩家就是OpenAI了，事实上在

GPT3.0发布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT

背后模型GPT3.5的前身）。

接下来我们详细说说BERT和GPT两者之间的差别。

BERT：双向预训练语言模型+fine-tuning（微调）

GPT：自回归预训练语言模型+Prompting（指示/提示）