ChatGPT的技术发展路径和带来的影响.docx

ChatGPT的技术发展路径和带来的影响

2023-03

01：人工智能和NLP发展路径

01：人工智能和NLP发展路径

02：GPT系列模型发展路径03：ChatGPT技术原理解析04：

02：GPT系列模型发展路径

03：ChatGPT技术原理解析

04：ChatGPT的影响和意义

目录CONTENT

人工智能技术发展脉络

放置示意图20123人工智能诞生最早可以追溯到1956年的感知机模型，经过近70年的发展，已经渗透到各行各业。

放置示意图

2012

3

2011年之前

?模型简单

受制于当时计算机硬件的发展，模型普遍简单，能力也相对较弱

?场景局限

模型只能处理单一场景，通用能力非常弱，导致成本过高。

?人工干预

往往需要如制定规则，词表，标注样本等大量人工工作。

年至今

?大模型

得益于底层技术原理的突破和硬件算力的发展，模型越来越大，GPT3（2020年）达到了惊人的1750亿个参数（一般人脑有神经元120到140

亿个）

?大数据

庞大的模型需要对应于海量的数据，GPT3使用的数据量已达到45TB，包括了多种主流语言

?多模态

语音，文字，图像之间不再存在明显壁垒，模型处理复杂场景的能力明显增加

人工智能的任务类型

人工智能处理的任务可以分为两类：一般来说，1.2.决策式：人工智能回答“选择题”，模型主要处理诸如：判别

人工智能处理的任务可以分为两类：

一般来说，1.

2.

生成式：人工智能回答“问答题”，需要模型根据输入，自动生成一些新内容（客观世界可能从

未出现）。

4

NLP发展的技术路径

自然语言处理（NLP，NaturalLanguageProcessing）是研究人与计算机交互的语言问题的一门学科。

提示(Prompt)学习(2020~至今)传统方法(2012年以前)神经网络(2012年~2018年)大模型预训练(2018年~至今)

提示(Prompt)学习(2020~

至今)

Word2vec

Word2vec的诞生标志着NLP和神经网络的结合，陆续出现了FastText、TextCNN、LSTM、Attention等模型

2018年，GPT和Bert的先后出现，标志着大模型时代的到来，后续诞生的Bart、ERNIE，T5等方法不断探索大模型的能力边界。

提示学习将下游任务的建模方式重新定义，通过合适的prompt来实现直接在预训练模型上解决下游任务，如GPT3，T5。

典型方法典型方

典型方法

典型方法

典型方法

典型方法

神经网络的出现，大量减少了人工干预的工作，同义词可以通过向量表征自动学会，句法分析，词性标注等都已经嵌入进模型结构。

模型参数量、数据量均上升了一个台阶，但是大部分模型利用文本自身特点生成训练样本，省去了很多人工标注的工作。在特定场景使用微调技术，降低了大模型跨场景的门槛。

?将所有任务，都转变为生成式任务。

?模型不再需要微调，使得零样本和少样本学习成为可能。

常用方法有SVM、TF-IDF、LDA、同义词表、句法解析，语义规则，BP神经网络。

特点特

特点

特点

特点

特点

?需要人工进行干预，如制定规则，词表，权重等。

?应用场景单一，都是针对特定场景进行开发。

?需要做大量特征工程。

5

01：

01：人工智能和NLP发展路径

02：GPT系列模型发展路径03：ChatGPT技术原理解析04：

02：GPT系列模型发展路径

03：ChatGPT技术原理解析

04：ChatGPT的影响和意义

目录CONTENT

GPT系列模型发展路径

在这个大模型时代，国内外各大厂商均对大模型积极布局，呈现百家争鸣的现象。Nvidia或成最大赢家。

三种技术流派?自从2017年，Transformer被提出来后，Google，Meta

三种技术流派

?自从2017年，Transformer被提出来后，

Google，Meta，OpenAI均在大模型上有所建树，并产生了三种技术流派：1.自编码(Bert等)2.自回归（GPT等）3.二者结合（T5，

BART等）

各大厂商的布局

底层技术原理

7

NLP技术发展带来的影响

最近10年，是NLP技术和业务场景发展最快的黄金时期，NLP本身的技