2024 大语言模型理论与实践(77页）.pptxVIP

;;

ChatGPT给公众展现出来的是无所不能;;

语言模型（LanguageModel，LM）目标是构建词序列w1w2...wm的概率分布P(w1w2...wm)，即计算给定的词序列w1w2...wm作为一个句子出现的可能性大小。;

GPT核心任务始终是生成一个“合理的延续”，即根据已有的文本，生成一个符合人类书写习惯的下一个合理内容。所谓“合理”，是指根据数十亿个网页、数字化书籍等人类撰写内容的统计规律，推测接下来可能出现的内容。;

GPT完成像写文章这样的任务时，它实际上只是一遍又一遍地询问：“在已有的文本的基础上，下一个词应该是什么？”——并且每次都会添加一个词。

在每一步中，它都会得到一个带有概率的单词列表。但是，它应该选择哪个单词;

GPT在做的事情—文字接龙;

ChatGPT真正做的事情—文字接龙;

语言模型概率空间是天文数字;

随着历史单词数量增多，绝大多数的历史并不会在训练数据中出现，这也意味着

P(wi|w1w2...wi?1)就很可能为0，使得概率估计失去了意义。为了解决上述问题，可以进一步假设任意单词wi出现的概率只与过去n?1个词相关;

尽管n元语言模型能缓解句子概率为0的问题，但语言是由人和时代创造的，具备

无穷的可能性，再庞大的训练语料也无法覆盖所有的n-gram，而训练语料中的零频率并不代表零概率。因此，需要使用平滑技术（Smoothing）来解决这一问题

平滑是指为了产生更合理的概率，对最大似然估计进行调整的一类方法，也称为数据平滑（DataSmoothing）。平滑处理的基本思想是提高低概率，降低高概率，使整体的概率分布趋于均匀。;

n元语言模型从整体上来看与训练语料规模和模型的阶数有较大的关系，不同的平滑

算法在不同情况下的表现有较大的差距。

平滑算法虽然较好解决了零概率问题，但是基于稀疏表示的n元语言模型仍然有三个较为明显的缺点：

（1）无法建模长度超过n的上下文；

（2）依赖人工设计规则的平滑技术；

（3）当n增大时，数据的稀疏性随之增大，模型的参数量更是指数级增加，并且模;

词的独热编码被映射为一个低维稠密的实数向量，称为词向量（Word

Embedding）。

循环神经网络、卷积神经网络、端到端记忆网络等神经网络方法都成功应用于语言模型建模。

相较于n元语言模型，神经网络方法可以在一定程度上避免数据稀疏问题，有些模型还可以避免对历史长度的限制，从而更好建模长距离依赖关系。这类方法通常称为;;

深度神经网络训练需要采用有监督方法，使用标注数据进行训练，因此，语言模型

的训练过程也不可避免需要构造训练语料。

但是由于训练目标可以通过无标注文本直接获得，从而使得模型的训练仅需要大规模无标注文本即可。语言模型也成为了典型的自监督学习（Self-supervisedLearning）任务。

互联网的发展，使得大规模文本非常容易获取，因此训练超大规模的基于神经网络的语言模型也成为了可能。;

语言模型训练完成仅是万里长征第一步;;

预训练阶段

1000+GPU

月级别训练时间

GPT3.0、LLaMa、PaLM;;

语言模型（LanguageModel，LM）目标是构建词序列w1w2...wm的概率分布P(w1w2...wm)，即计算给定的词序列w1w2...wm作为一个句子出现的可能性大小。;

在预训练语料集方面，根据文献[40]中的报道，GPT-3中通过主要包含经过过滤的CommonCrawl

数据集、WebText2、Books1、Books2以及英文Wikipedia等数据集合。其中CommonCrawl的原始数据有45TB，进行过滤后仅保留了570GB的数据。通过子词方式对上述语料进行切分，大约一共包含5000亿子词。为了保证模型使用更多高质量数据进行训练，在GPT-3训练时，根据语料来源的不同，设置不同的采样权重。在完成3000亿子词训练时，英文Wikipedia的语料平均训练轮数为3.4次，而CommonCrawl和Books2仅有0.44次和0.43次。

由于CommonCrawl数据集合的过滤过程繁琐复杂，OPT则采用了混合RoBERTa、Pile和

PushShift.ioRedit数据的方法。由于这些数据集合中包含的绝大部分都是英文数据，因此OPT也从CommonCrawl数据集中抽取了部分非英文数据加入训练语料。;

由于模型参数量和所使用的数