《人工智能 大规模预训练模型总体技术要求及评估方法》.pdfVIP

ICS35.240

CCSL70

团体标准

T/ISCXXX—XXXX

人工智能大规模预训练模型总体技术要

求及评估方法

Artificialintelligence—Technicalrequirementsandtestingmethodsforlargescale

pre-trainedmodel

（征求意见稿）

2024-10-20

XXXX-XX-XX发布XXXX-XX-XX实施

中国互联网协会发布

T/ISCXXX—XXXX

目次

前言II

引言III

1范围1

2规范性引用文件1

3术语和定义1

4符号和缩略语3

5概述3

6大规模预训练模型系统参考架构4

6.1参考架构4

6.2系统角色5

7大规模预训练模型系统技术要求5

7.1基础设施层5

7.2数据层6

7.3模型层6

7.4应用层7

7.5系统安全8

8大规模预训练模型能力评估方法8

8.1评估框架8

8.2评估指标9

8.3评估数据集要求11

8.4评估流程11

附录A（资料性）评估指标13

A.1客观评估指标13

A.2主观评估指标14

A.3主观指标评分方法15

附录B（资料性）评估数据集17

B.1通用评估数据集17

B.2行业评估数据集20

附录C（资料性）通信行业评估示例21

C.1确定评估对象21

C.2确定评估能力项、任务项及评估指标21

C.3确定评估数据集和评估方式23

C.4输出评估结果23

参考文献24

I

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中国信息产业商会团体标准专业委员会提出并归口。

本文件起草单位：

本文件主要起草人：

本文件及其所代替文件的历次版本发布情况为：

——

T/ISCXXX—XXXX

引言

近年来，随着数据资源的不断丰富以及深度学习计算能力的不断提升，大模型具备了强大的表征

能力，在自然语言处理、图像识别、语音识别等领域都展现出了强大的性能和广泛的应用价值，正逐

渐成为人工智能领域的研究热点和产业应用焦点。随着产业界的深入参与和合作，大模型的研发和应

用从聚焦基础设施构建、数据获取、模型训练及部署等方面技术突破和工程化落地，到关注领域应用、

行业应用等方面大模型服务能力评估。然而，针对整个大模型系统，业