大语言模型“数据为王”：训练数据的价值、迷思与数字传播的未来挑战.pdfVIP

2024年5月西北师大学报（社会科学版）May2024

第61卷第3期JournalofNorthwestNormalUniversity(SocialSciences)Vol.61No.3

大语言模型“数据为王”：训练数据的价值、迷思与

数字传播的未来挑战

胡泳，刘纯懿

（北京大学新闻与传播学院，北京100871）

［摘要］伴随着ChatGPT的问世和流行，关于生成式人工智能的意涵和影响迅速成为学界和业界的关注焦点。在这

场由大语言模型引领的非监督性深度学习浪潮中，一个核心议题就是训练数据。对训练数据的规模和质量的追求，演

绎了“万模大战”形势下的“数据为王”法则。而在训练数据的价值、功能和误读的背后，是对数据概念的改写、对

数据可供性的迷信和对数据所有权的争夺。训练数据的具体架构和内部机制引发了智能传播生态的重建和信息生产秩

序的重构，在这一变革之中也蕴藏着大语言模型时代的数字危机，其具体体现为蒸馏式传播的偏见再生产、过滤式传

播的信息保守化和随机性传播的意义之消散。大语言模型及其训练数据急需破除规模迷思，着重思考如何让数据切实

成为社会技术系统的一部分。

［关键词］大语言模型；训练数据；生成式AI；ChatGPT；智能传播

［中图分类号]］G206［文献标识码］A［文章编号］1001-9162（2024)03-0043-12

[DOIJ10.16783/ki.nwnus.2024.03.005

变化。大语言模型是语言模型的一个子集，根据数

引言

据科学研究者的定义，语言模型就是根据一些训练

自2022年11月OpenAI首次向公众开放聊天机数据，为一段从未出现过的文本匹配一个概率[1］

器人ChatGPT以来，不管是科技精英、媒体从业（PP.1591一1594）。正如信息理论家、自然语言处

者还是普罗大众都惊叹于这一被称为大语言模型理研究者弗雷德里克·耶利内克（Frederick

（largelanguagemodel，LLM）的生成式人工智能Jelinek）所说，语言模型的任务是为识别器

所拥有的类人智慧、应用前景和社会潜力。不仅（recognizer）提供关于概率的充分估计，并在上个

Alphabet、Meta、亚马逊和英伟达等全球科技巨世纪末就展示了如何直接从训练数据计算其参数，

头都训练了自已的大语言模型，并给予它们以诸如1(PP.57-76)

使其适合当前识别任务的文本。2］

PaLM、Titan、Megatron、Chinchilla等令人眼花语言模型的研究开始于语言生成概率模型的研究。

缭乱的命名，那些尚未加人这场“万模大战”的新大语言模型之“大”在于它不断扩展的规模，而对

型公司和传统企业也正在围绕生成式革命而重新部于规模的追求则源自于语言模型的缩放法则

署、设计、规划产品和未来商业模式。然而，在大（scalinglaw），即语言模型的性能依赖模型的规

语言模型和生成式人工智能一路高歌猛进的过程模，具体包括：参数数量、训练数据的大小和计算

中，也始终充斥着担忧和批判的声音，其中一种强量，最终的模型效果会随着以上三个因素的指数增

烈的声音指向一个似乎已成共识的问题，那就是大加而得到显著提高。3］这就意味着，若想提高语

语言模型之“大”。言模型的性能，可以通过提高模型的参数量、扩大

若想理解大语言模型饱受争议的原因和根本，训练数据的规模来实现。而当规模超过某个临界阈

首先要弄清其前所未有的特征和这些特征所带来的值时，模型的性能会显著高于此前的随机效果，这

[收稿日期］2024-02-07

［第一作者简介