赛迪前瞻2024年第33期（总873期）：人工智能语料库发展趋势和建议.pdf

2024年11月29日第33期总第873期

人工智能语料库发展趋势和建议

人工智能（AI）语料库是汇集大量来自书籍、学术文章、社

交媒体等渠道的文本、图片、音频、视频数据集合，是人工智能

领域研究和应用的基础数据。目前，国际主流大模型训练语料库

以英文语料为主，中文语料占比不超过5%。中文人工智能语料

库匮乏制约了我国大模型性能飞跃和技术创新。赛迪研究院建议

加快专业语料库建设，提升语料数据质量；优化基础设施建设，

维护语料数据安全；完善语料生态环境，构建评估作价体系。

-1-

一、语料库是AI模型开发的基石，国内外AI语料库在数

据规模、语料质量和开源共享方面存在差距

大规模、高质量的语料数据是训练和评估模型的基础。一是

从海量语料数据中提取语法结构、语义特征能够提升模型泛化性

和准确性。OpenAI基于3000亿单词和超过40TB语料训练GPT-3

模型，能够准确理解用户问题并生成自然流畅的文本内容。谷歌

使用涵盖书籍、新闻等广泛领域的海量文本训练BERT模型，使

其文本翻译、情感识别等任务的准确度提高。二是高质量语料可

以提高模型性能和训练效率。谷歌PaLM2模型采用包含多种语

言和科学数据的改进语料库训练，其翻译、推理、代码生成能力

得到显著提升。三是专业领域语料库驱动AI技术创新和应用落

地。通用语料库难以满足特定专业领域需求，通过收集医疗、金

融等专业领域的术语和概念扩展专业领域语料库，加速相关领域

算法创新和应用推广。

国外语料库在数据规模、开源建设和应用场景方面具有先发

优势。一是英文语料库数据规模庞大，语料来源渠道丰富。GPT-3

训练语料CommonCrawl广泛收集了来自网页文本、书籍和学术

20

论文等多渠道的文本数据，数据规模达到拍量级（1PB=2GB）。

-2-

华盛顿大学等高校机构组织构建的开源数据集MINT-1T，包含一

万亿文本构建块和三十亿图像。二是英文AI语料库在标准化建

设和开源共享方面拥有优势。欧洲语言资源协调机构通过制定数

据采集、标注和共享标准，整合欧洲各国及全球范围内的语料资

源，推动语料库规范化发展。谷歌、微软等科技巨头允许开发者

通过应用程序开发接口访问其语料库。三是国外企业和研究机构

正加大对多模态AI语料库的建设力度。多模态AI语料库能够提

升模型处理复杂任务和跨领域应用的能力。Meta借助社交平台

积累多模态语料提升模型对图像的理解能力，并将其集成在智能

眼镜上。亚马逊通过构建语音语料库，推动其语音助手在智能家

居和语音交互领域的应用。

国内企业和研究机构积极跟进中文AI语料库建设。一是中

文AI语料库在数据规模和多样性方面取得显著进展。中国大模

型语料数据联盟发布“书生·万卷”多模态语料库，涵盖来自网页、

书籍、百科等不同来源的清洗后预训练语料，数据规模超2TB。

智源研究院联合多家数据单位建设全球最大中文语料数据库

WuDaoCorpora，涵盖1.2TB中文文本数据、2.5TB中文图文数据。

二是特定行业或专业领域的中文AI语料库建设已初具规模。科

-3-

大讯飞构建用于训练和优化语音识别模型的语料库，包含多种语

言、方言和口音的数据。上海交通大学创建包含6种语言和21

种医学子课题的多语言医疗语料库，用于提高医疗诊断模型的准

确度。南京大学以法律文书、司法考试为基础构建法律领域对话

数据集，以提高模型对法律内容的理解能力。三是高质量中文语

料短缺是当前亟待解决的问题。现有中文语料来源广泛但质量参

差不齐，未经清洗包含错别字、语法错误和价值观偏见的语料会

影响模型训练效果。此外，我国语料库建设规范性不足，数据标

注标准不一、语料库结构差异明显以及相关企业共享意愿不足，

导致高质量中文语料积累薄