TISC0076-2025人工智能大规模预训练模型总体技术要求及评估方法.pdf

ICS35.240

CCSL70

团体标准

T/ISC—

00762025

人工智能大规模预训练模型总体技术要

求及评估方法

Artificialintelligence—Technicalrequirementsandtestingmethods

forlarge-scalepre-trainedmodel

（发布稿）

2025-03-14

2025-03-14发布2025-04-14实施

中国互联网协会发布

T/ISC0076—2025

目次

前  言II

引  言III

1范围1

2规范性引用文件1

3术语和定义1

4符号和缩略语3

5概述4

6大模型系统参考架构4

6.1参考架构4

6.2系统角色5

7大模型系统技术要求5

7.1基础设施层5

7.2数据层6

7.3模型层7

7.4应用层8

7.5系统安全9

8大模型能力评估方法9

8.1评估框架9

8.2评估指标10

8.3评估数据集要求12

8.4评估流程13

附录A（资料性）评估指标14

A.1客观评估指标14

A.2主观评估指标16

A.3主观指标评分方法16

附录B（资料性）评估数据集18

B.1通用评估数据集18

B.2行业评估数据集21

附录C（资料性）通信行业评估示例22

C.1确定评估对象22

C.2确定评估能力项、任务项及评估指标22

C.3确定评估数据集和评估方式24

C.4输出评估结果24

I

T/ISC0076—2024

人工智能大规模预训练模型总体技术要求及评估方法

1范围

本文件规定了大规模预训练模型系统参考架构及技术要求、大规模预训练模型系统角色、大规模

预训练模型能力评估方法。

本文件适用于人工智能大规模预训练模型的设计、研发、评估和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适

用于本文件。

GB/T29264-2012信息技术服务分类与代码

GB/T41867-2022信息技术人工智能术语

AIIA/PG0074-2022大规模预训练模型技术和应用评估方法第4部分：可信要求

AIIA/PG0141-2024人工智能开发平台通用能力要求第4部分：大模型技术要求

3术语和定义

3.1

大规模预训练模型large-scalepre-trainedmodel

大模型large-model

在大量数据上