2023人工智能大模型技术白皮书.docx

中国人工智能系列白皮书大模型技术（2023版）

二○二三年九月

PAGE

PAGE10

目录

第1章大模型技术概述 5

大模型技术的发展历程 5

大模型技术的生态发展 9

大模型技术的风险与挑战 11

第2章语言大模型技术 13

Transformer架构 13

语言大模型架构 17

掩码语言建模 17

自回归语言建模 18

序列到序列建模 18

语言大模型关键技术 19

语言大模型的预训练 19

语言大模型的适配微调 21

语言大模型的提示学习 24

语言大模型的知识增强 26

2.4.5语言大模型的工具学习 27

第3章多模态大模型技术 29

多模态大模型的技术体系 29

面向理解任务的多模态大模型 29

面向生成任务的多模态大模型 31

兼顾理解和生成任务的多模态大模型 33

知识增强的多模态大模型 35

多模态大模型的关键技术 36

多模态大模型的网络结构设计 36

多模态大模型的自监督学习优化 37

多模态大模型的下游任务微调适配 39

第4章大模型技术生态 41

典型大模型平台 41

典型开源大模型 44

典型开源语言大模型 44

典型开源多模态大模型 53

典型开源框架与工具 57

大模型的训练数据 60

大模型的训练数据处理流程和特点 60

大模型常用的公开数据集 63

第5章大模型的开发训练与推理部署 66

大模型开发与训练 66

大模型推理部署 68

大模型压缩 69

大模型推理与服务部署 70

软硬件适配与协同优化 71

大模型的软硬件适配 72

大模型的软硬件协同优化 72

第6章大模型应用 74

信息检索 74

新闻媒体 75

智慧城市 76

生物科技 76

智慧办公 77

影视制作 78

智能教育 78

智慧金融 79

智慧医疗 79

智慧工厂 79

生活服务 80

智能机器人 80

其他应用 80

第7章大模型的安全性 82

大模型安全风险引发全球广泛关注 82

大模型安全治理的政策法规和标准规范 83

大模型安全风险的具体表现 85

大模型自身的安全风险 85

大模型在应用中衍生的安全风险 86

大模型安全研究关键技术 88

大模型的安全对齐技术 88

大模型安全性评测技术 91

第8章总结与思考 94

协同多方合作，共同推动大模型发展 95

建立大模型合规标准和评测平台 96

应对大模型带来的安全性挑战 97

开展大模型广泛适配，推动大模型技术栈自主可控 98

名词索引 99

参考文献 101

编写人员贡献 120

第1章大模型技术概述

大模型技术的发展历程

2006年GeoffreyHinton提出通过逐层无监督预训练的方式来缓解由于梯度消失而导致的深层网络难以训练的问题[1]，为神经网络的有效学习提供了重要的优化途径。此后，深度学习在计算机视觉[2]、语音[3]、自然语言处理[4]等众多领域取得了突破性的研究进展，开启了新一轮深度学习的发展浪潮。总结过去十多年的技术发展，基于深度学习的人工智能技术主要经历了如下的研究范式转变：从早期的“标注数据监督学习”的任务特定模型，到“无标注数据预训练+标注数据微调”的预训练模型，再到如今的“大规模无标注数据预训练+指令微调+人类对齐”的大模型，经历了从小数据到大数据，从小模型到大模型，从专用到通用的发展历程，人工智能技术正逐步进入大模型时代。

2022年底，由OpenAI发布的语言大模型ChatGPT引发了社会的广泛关注。在“大模型+大数据+大算力”的加持下，ChatGPT能够通过自然语言交互完成多种任务，具备了多场景、多用途、跨学科的任务处理能力。以ChatGPT为代表的大模型技术可以在经济、法律、社会等众多领域发挥重要作用。大模型被认为很可能像PC时代的操作系统一样，成为未来人工智能领域的关键基础设施，引发了大模型的发展热潮。

本次大模型热潮主要由语言大模型（亦称为大语言模型）引领。语言大模型通过在海量无标注数据上进行大规模预训练，能够学习到大量的语言知识与世界知识，并且通过指令微调、人类对齐等关键技术拥有面向多任务的通用求解能力。在原理上，语言大模型旨在构建面向文本序列的概率生成模型，其发展过程主要经历了四个主要阶段[5]：

统计语言模型：统计语言模型主要基于马尔可夫假设建模文本序列的生成概率。特别地，N-gram语言模型[6]认为下一个词汇的生成概率只依赖于前面出现的N