大模型面试题-33-增量预训练（Pretrain）样本拼接篇.pdf

增量预训练（Pretrain）样本拼接篇

来自：AiGC面试宝典

宁静致远2024年01月27日20:47

•增量预训练（Pretrain）样本拼接篇

•一、Pretrain阶段，为什么需要拼接拼接？

•二、有哪些拼接方式？

•2.1拼接方式一：RandomConcatenate

•2.2拼接方式二：RandomConcatenate+NoiseMask

•2.3拼接方式三：RandomConcatenate+Cluster

•2.4拼接方式四：IN-CONTEXTPRETRAINING

•致谢

一、Pretrain阶段，为什么需要拼接拼接？

为了提高pretrain效率、拓展LLM最大长度，随机将若干条短文本进行拼接是pretrain阶段常见手

段。

二、有哪些拼接方式？

2.1拼接方式一：RandomConcatenate

随机将短文本{examples_i}拼接成{examples_k}以打满maxLen是pretrain的常见手段，该方法不

仅能够降低padding占比、提高训练效率，还能使LLM具备更好的长文本处理能力。

但笔者认为，绝大多数情况下构成Example的多个examples彼此互不相关，无法提供有效的上

下文信息，LLM自然也无法从拓宽的窗口中获得反馈。甚至，在语料较少、分布比较集中时，LLM

很有可能从多次、偶然的（因拼接导致的）噪音共现中拟合到错误的特征。当然，如果语料足够

多、分布足够广，LLM仍能通过足够的contrastive，逐渐聚焦于examples本身而非其他无关

examples。此外，也有一些使用specialToken对examples进行软隔离的方案，但没有额外的正

则手段时，使用specialToken进行隔离或许只是鸡生蛋、蛋生鸡的死循环。

2.2拼接方式二：RandomConcatenate+NoiseMask

为缓解2.1所述的无关examples间的噪音共现问题，笔者尝试过添加自定义attentionMask，使

LLM在pretrain时仅focuson当前example，经笔者测试，该方法在ICLfew-shot上相比2.1（也

即常规pretrain方法）有1.6%左右的提升。

defsegment_causal_mask(input_ids,device,val=float(-inf)):

bsz,tgt_len=input_ids.shape

cum_lens=torch.arange(1,tgt_len+1,device=device).unsqueeze(0)*\

torch.eq(input_ids,EosTokenId).int().to(device)

mask=torch.zeros([bsz,tgt_len,tgt_len]).to(device)

fori,_cum_lensinenumerate(cum_lens):

forvin_cum_lens:

mask[i,v:,:v]=val

returnmask

但这种方式仍存在一个问题，相对位置编码（如ALIBI、ROPE）的token-wise相对位置信息会在

attentionScore矩阵对应位置有所体现，如果施加了attentionMask，这部分相对位置信息经过

softmax会被完全掩盖/误杀，也即LLM无法在BP过程中，从跨examples间获得反馈（不论是相对

位置的反馈还是语义信息的反馈）。因此在不考虑外推性的前提下，这种pretrain方法仍是在短文

本窗口内进行训练，没有真正意义上实现maxLen级别的长文本训练，只能起到提高训练效率的作

用。

另外，尽管2.1中没有利用attentionMask，LLM是否能从无关examples构成的窗口中获取对（更

远）相对位置的正向反馈仍然存疑（如果数据构成表