大模型训练数据白皮书.pdfVIP

LARGELANGUAGE

MODELSTRAININGDATA

WHITEPAPER

大模型训练数据白皮书

专家委员会

安筱鹏阿里云智能副总裁

袁媛阿里研究院执行副院长

宋志刚数字中国研究院(福建)院长

编写组主要成员

傅宏宇王峥赵志远郑达真

张荣陈岳峰李天宇徐强

编写单位

阿里巴巴集团

数字中国研究院（福建）

阿里云智能集团

欢迎关注“阿里研究院”公众号

关于我们

阿里研究院是阿里巴巴集团的内设智库机构，多年来扎根于阿里巴巴丰富的

数字科技商业生态，依托前沿的产业实践和大量的创新案例，围绕集团“用户为

先，AI驱动”的战略重心，聚焦于科技创新、数据和算法治理等领域的研究。

联系我们

aliresearch2023@

大模型训练数据白皮书

目录

CONTENTS

01训练数据对大模型发展的重要性02

02模型训练所需的数据类型03

2.1训练大语言模型的数据03

2.2训练多模态模型的数据04

2.3训练数据的常见疑问和误解04

2.3.1大模型训练并不依赖用户个人信息04

2.3.2中文语料短缺不是制约我国大模型发展的重要因素05

03科学理解高质量数据的含义与作用06

3.1高质量数据的重要性06

3.2高质量数据的标准07

3.2.1高质量数据类型的三重不确定性07

3.2.2同类数据的评估标准并不完全一致08

04合成数据作为解决训练数据供给不足的新方案09

4.1训练数据供给不足带来的思考09

4.2合成数据的定义10

4.3合成数据的必要性10

4.4合成数据的生成方法及分类11

4.5合成数据在模型训练中的作用12

4.5.1预训练语料的新物种12

4.5.2提升对齐语料获取效率的加速器13

4.6解决训练数据供给不足的新方案14

4.7在发展中治理的合成数据16

05对大模型训练数据治理的思考17

5.1大模型对训练数据的使用特点17

5.2大模型训练数据合规的治理之智18

06政府与社会力量协同的训练数据生态19

6.1美国的现状19

6.2中国的现状21