大模型原理与技术-课件 chap4 大模型网络结构.pptx

大模型网络结构计算机科学与技术学院智周万物?道济天下

oTransformerl注意力机制l编码器-解码器结构l大模型中的编码器-解码器结构o编码器结构----BERT家族lBERT结构l预训练策略lBERT的变体o解码器结构----GPT家族lGPT结构l自回归预训练l后续改进o思考 目录2

目录oTransformerl注意力机制l编码器-解码器结构l大模型中的编码器-解码器结构o编码器结构----BERT家族lBERT结构l预训练策略lBERT的变体o解码器结构----GPT家族lGPT结构l自回归预训练l后续改进o思考16

o面对问题:记录输入序列中的长期依赖关系oTransformer利用注意力机制完成对源语言序列和目标语言序列全局依赖的建模 Transformer4Transformer是自然语言处理领域的颠覆者，为后续大模型网络结构（BERT、GPT）的发展奠定了基础

o基本结构:编码器-解码器结构o编码器输入，解码器输出 Transformer4

o嵌入表示层o注意力层o位置前馈感知层o残差连接o层归一化 Transformer4

3 目录oTransformerl注意力机制l编码器-解码器结构l大模型中的编码器-解码器结构o编码器结构----BERT家族lBERT结构l预训练策略lBERT的变体o解码器结构----GPT家族lGPT结构l自回归预训练l后续改进o思考

注意力机制是对人类行为的一种仿生，起源于对人类视觉注意机制的研究 注意力机制4

注意力机制8不同的单词通过不同权重计算影响1.自注意力模块

注意力机制8

注意力机制8相关性通过词与词之间的关系来更好地理解当前词的意思

注意力机制8点积双线性多重感知机

注意力机制8注意力图查询向量键向量

注意力机制8缩放Soft-max

注意力机制8

注意力机制8并行计算

注意力机制8

注意力机制8

注意力机制8

注意力机制8缩放Soft-max

注意力机制8

注意力机制8需要学习的参数

注意力机制82.多头注意力模块

注意力机制8

注意力机制8

注意力机制8=0=0=03.掩码多头注意力模块在推理过程中，编码器在生成当前token时，往往只能获取之前token的信息

注意力机制8缩放Soft-max

注意力机制80000001111111011001000构造掩码矩阵

注意力机制8000000000000

注意力机制84.位置编码在自注意力模块中缺乏句子词序位置编码：每个位置有一个独一无二的位置向量手工设计的也可以是学习得到的

注意力机制8/abs/2003.09229

2 目录oTransformerl注意力机制l编码器-解码器结构l大模型中的编码器-解码器结构o编码器结构----BERT家族lBERT结构l预训练策略lBERT的变体o解码器结构----GPT家族lGPT结构l自回归预训练l后续改进o思考

编码器-解码器结构31.编码器编码器Transformer中的编码器

编码器-解码器结构4Transformer块Transformer块Transformer块…………多头注意力模块FCFCFCFC前向传播

编码器-解码器结构5多头注意力模块normFCFCnorm…norm均值标准差层归一化/abs/1607.06450残差连接

编码器-解码器结构62.解码器解码器编码器BOS狗Dogslikeballs球0.1狗0.8欢0.0喜0.0……分布词汇表大小Vsoftmaxmax

喜max编码器-解码器结构7解码器编码器BOS狗欢喜欢球Dogslikeballs狗maxmaxmax输入的是解码器的输出Transformer中的解码器

编码器-解码器结构8o解码器需要自己决定生成的目标句的长度o实际上：机器并不能确定正确的输出长度喜max解码器编码器BOS狗欢球类喜欢球Dogslikeballs狗maxmaxmaxmax……会一直持续下去softmax

编码器-解码器结构9解码器编码器BOS狗Dogslikeballs球0.1狗0.0欢0.0喜0.0……EOS0.8分布softmaxmax解码器BOSsoftmaxmaxEOS喜欢球maxmaxmax喜狗欢球

编码器-解码器结构10在训练的过程中，不仅降低模型并行程度，使得训练时间变长，而且训练更加困难喜max解码器编码器BOS狗欢球EOS喜欢球Dogslikeballs狗maxmaxmaxmaxGroundTruthTeacherForcing:使用GroundTruth作为输入

编码器-解码器结构为什么需要掩码？11

编码器-解