中国人工智能系列白皮书 —— 大模型技术（2023 版）.pdfVIP

中国人工智能系列白皮书

——大模型技术（2023版）

目录

第1章大模型技术概述5

1.1大模型技术的发展历程5

1.2大模型技术的生态发展9

1.3大模型技术的风险与挑战11

第2章语言大模型技术13

2.1Transformer架构13

2.2语言大模型架构17

2.2.1掩码语言建模17

2.2.2自回归语言建模18

2.2.3序列到序列建模18

2.3语言大模型关键技术19

2.3.1语言大模型的预训练19

2.3.2语言大模型的适配微调21

2.3.3语言大模型的提示学习24

2.3.4语言大模型的知识增强26

2.4.5语言大模型的工具学习27

第3章多模态大模型技术29

3.1多模态大模型的技术体系29

3.1.1面向理解任务的多模态大模型29

3.1.2面向生成任务的多模态大模型31

3.1.3兼顾理解和生成任务的多模态大模型33

3.1.4知识增强的多模态大模型35

3.2多模态大模型的关键技术36

3.2.1多模态大模型的网络结构设计36

2

3.2.2多模态大模型的自监督学习优化37

3.2.3多模态大模型的下游任务微调适配39

第4章大模型技术生态41

4.1典型大模型平台41

4.2典型开源大模型44

4.2.1典型开源语言大模型44

4.2.2典型开源多模态大模型53

4.3典型开源框架与工具57

4.4大模型的训练数据60

4.4.1大模型的训练数据处理流程和特点60

4.4.2大模型常用的公开数据集63

第5章大模型的开发训练与推理部署66

5.1大模型开发与训练66

5.2大模型推理部署68

5.2.1大模型压缩69

5.2.2大模型推理与服务部署70

5.3软硬件适配与协同优化71

5.3.1大模型的软硬件适配72

5.3.2大模型的软硬件协同优化72

第6章大模型应用74

6.1信息检索74

6.2新闻媒体75

6.3智慧城市76

6.4生物科技76

6.5智慧办公77

6.6影视制作78

6.7智能教育78

3

6.8智慧金融79

6.9智慧医疗79

6.10智慧工厂79

6.11生活服务80

6.12智能机器人80

6.13其他应用80

第7章大模型的安全性82

7.1大模型安全风险引发全球广泛关注82

7.2大模型安全治理的政策法规和标准规范83

7.3大模型安全风险的具体表现85

7.3.1大模型自身的安全风险85

7.3.2大模型在应用中衍生的安全风险86

7.4大模型安全研究关键技术88

7.4.1大模型的安全对齐技术88

7.4.2大模型安全性评测技术91

第8章总结与思考94

8.1协同多方合作，共同推动大模型发展95

8.2