解析ChatGPT背后的技术演进.pdfVIP

解析ChatGPT背后的技术演进

行业专题报告行业研究

计算机行业2023.03.22/推荐

自然语言处理（NaturalLanguageProcessing,NLP）的发展

历程可分为三个阶段；

1）上世纪80年代之前，人工智能开始萌芽，基于规则的语言

系统占据主导，出现了机器翻译以及语言对话的初级产品；

2）1980年之后，机器学习在全球范围内兴起，自然语言处理

走向纯粹的统计学，90年代后神经网络引入，NLP进入了快速

发展期，并在2000年后逐渐开启了商业化进程；

3）2017年，Google发布著名论文《AttentionisAllYou

Need》，提出了基于Attention注意力机制构建的Transformer

模型，2018年OpenAI的GPT模型以及Google的BERT模型均

是在Transformer的基础上构建，大语言模型时代正式开启。

Attention注意力机制与Transformer是大语言模型的基石。

1）Attention机制在并行计算（效率更高）以及解决长距离信

息依赖的能力（效果更好）上优于过去的神经网络模型。

2）Transformer模型没有使用传统的CNN和RNN结构，其完全

是由Attention机制组成，其中Self-Attention（自注意力）

是Transformer的核心。

3）OpenAI的GPT模型和Google的BERT模型虽然都是基于

Transformer所构建，但GPT模型仅使用了解码器的部分，而

BERT仅使用了编码器的部分，二者在技术路线上也走向了两条

不同的道路。

GPT模型的持续进化与能力突变：从CPT-1到CPT-4。

1）GPT-1：有监督学习和无监督学习的结合，模型的语言泛化

能力不够，更接近于处理特定语言任务的专家模型，而非通用

的语言模型；

2）GPT-2：舍弃了模型微调，让多个不同的任务在同一个模型

上学习，构建了换一个泛化能力更强的语言模型，开始让语言

模型的通用性得到了更加充分的展现；

3）GPT-3：在训练方法上则采取了In-context学习，参数量相

较于GPT-2提升了两个数量级，达到了1750亿，数据集在处理

前容量达到了45TB，是真正意义上的超大语言模型。

4）ChatGPT：引入人类反馈的强化学习（RLHF）及近端策略优

化算法（PPO）等新的训练方式后，语言生成能力大幅提升，并

且涌现出了思维链及逻辑推理等多种能力。

5）GPT-4：在推理能力、文本生成能力、对话能力等方面有了

进一步提升的同时，实现了从大语言模型向多模态模型进化的

第一步。

1敬请关注文后特别声明与免责条款

未来展望：多模态和AIGC。近年来Google，微软等海外大厂均

已经在大模型上展开布局，行业竞争门槛正在迅速提升，头部

厂商在算力资源、数据积累等方面的竞争优势将进一步凸显。

目前大模型的应用已经不局限于NLP领域，计算机视觉、多模

态等领域的大模型开始涌现，而生成算法、大模型与多模态为

三大底层技术的突破成为了AIGC的质变的关键。AIGC作为人

工智能最重要的演进方向，能够自主生成创造出文字、图片、

语音、视频、代码等各种形式的内容，将深度改变办公、电商、

娱乐、教育、媒体等各行各业，并引领人工智能实现从感知理

解到生成创造的跃迁。

相关标的：ChatGPT及大语言模型受益标的涉及平台、算法、

场景、算力四大类厂商：1）平台：百度、阿里、腾讯、360；2）

应用：金山办公、科大讯飞、光云科技、同花顺、万兴科技、

致远互联、福昕软件、漫步者、虹软科技、当虹科技、凌志软

件；3）算法：科大讯飞、拓尔思、海天瑞声、云从科技、商汤

科技；4）算力：寒武纪，海光信息、浪潮信息、紫光股份、中

科曙光、优刻得、青云科技。

风险提示：产业变革和新技术落地节奏不及预期；AI技术的发

展易引起法律和监管问题；中美贸易摩擦加剧风险。

2敬请关注文后特别声明与免责条款