大语言模型通识微课课件：处理大模型预训练数据.pptx

;由于数据质量对于大模型的影响非常大。因此，在收集了各种类型的数据之后，需要对数据进行处理，去除低质量数据、重复数据、有害信息、个人隐私等内容和进行词元切分。;互联网上的数据质量参差不齐，因此，从收集到的数据中删除低质量数据成为大模型训练中的重要步骤。大模型训练中所使用的低质量数据过滤方法可以大致分为两类；基于分类器的方法和基于启发式的方法。

（1）基于分类器的方法。目标是训练文本质量判断模型，利用该模型识别并过滤低质量数据。GPT-3、PaLM和GLaM模型在训练数据构造时都使用了基于分类器的方法。例如，基于特征哈希的线性分类器，可以非常高效地完成文本质量判断。;（2）基于启发式的方法。通过一组精心设计的规则来消除低质量文本。

·语言过滤：如果仅关注一种或几种语言，可以大幅过滤其他语言数据。

·指标过滤：利用评测指标可以过滤低质量文本。例如，使用语言模型对给定文本的困惑度进行计算，利用该值过滤非自然的句子。

·统计特征过滤：针对文本内容计算标点符号分布等统计特征，利用这些特征过滤低质量数据。

·关键词过滤：根据特定关键词集，识别并删除文本中的噪声或无用元素。例如，HTML标签、超链接及冒犯性词语等。;大模型训练数据库中的重复数据会降低大模型的多样性，并可能导致训练过程不稳定，从而影响模型性能。因此，需要去除预训练数据库中的重复数据，包括句子、段落、文档、数据集等不同级别。

在实际产生预训练数据时，冗余去除需要从不同粒度着手，这对改善语言模型的训练效果具有重要作用。;由于绝大多数预训练数据源于互联网，因此不可避免地会包含涉及敏感或个人信息的用户生成内容，这可能会增加隐私泄露的风险。因此，有必要从预训练数据库中删除包含个人身份信息的内容。

删除隐私数据最直接的方法是采用基于规则的算法，利用算法检测姓名、地址、电话号码等个人信息内容并进行删除或者替换。;传统的自然语言处理通常以单词为基本处理单元，模型都依赖预先确定的词表，在编码输入词序列时，表示模型只能处理词表中存在的词。因此，如果遇到不在词表中的未登录词，只能给未登录词一个默认的通用表示。

在深度学习模型中，词表示模型会预先在词表中加入一个默认的“[UNK]”标识，表示未知词，并在训练的过程中将[UNK]的向量作为词表示矩阵的一部分一起训练，通过引入某些相应机制来更新[UNK]向量的参数。使用时，对全部未登录词使用[UNK]向量作为表示向量。;