2024大模型训练数据白皮书.pdfVIP

LARGELANGUAGE

MODELSTRAININGDATA

WHITEPAPER

-1-

大模型训练数据白皮书

专家委员会

安筱鹏阿里云智能副总裁

袁媛阿里研究院执行副院长

宋志刚数字中国研究院(福建)院长

编写组主要成员

傅宏宇王峥赵志远郑达真

张荣陈岳峰李天宇徐强

编写单位

阿里巴巴集团

数字中国研究院（福建）

阿里云智能集团

-2-

关于我们

阿里研究院是阿里巴巴集团的内设智库机构，多年来扎根于阿里巴巴丰富的

数字科技商业生态，依托前沿的产业实践和大量的创新案例，围绕集团“用户为

先，AI驱动”的战略重心，聚焦于科技创新、数据和算法治理等领域的研究。

联系我们

aliresearch2023@

-3-

大模型训练数据白皮书

目录

CONTENTS

01训练数据对大模型发展的重要性02

02模型训练所需的数据类型03

2.1训练大语言模型的数据03

2.2训练多模态模型的数据04

2.3训练数据的常见疑问和误解04

2.3.1大模型训练并不依赖用户个人信息04

2.3.2中文语料短缺不是制约我国大模型发展的重要因素05

03科学理解高质量数据的含义与作用06

3.1高质量数据的重要性06

3.2高质量数据的标准07

3.2.1高质量数据类型的三重不确定性07

3.2.2同类数据的评估标准并不完全一致08