T_SCBDIF 001-2024 AI 大模型应用能力成熟度评价标准.docx

ICS35.80L77

T/SCBDIF

团体标准

T/SCBDIF001-2024

AI大模型应用能力成熟度评价标准

AILargeModelApplicationCapabilityMaturityEvaluationStandard

2024-09-30发布2024-12-01实施

四川省大数据产业联合会发布

2

T/SCBDIF001-2024

目录

目录 2

引言 4

AI大模型应用能力成熟度评价标准 5

1.目的和范围 5

2.规范性引用文件 5

3.术语和定义 6

3.1.大模型（LargeModel） 6

3.2.模型开发（ModelDevelopment） 6

3.3.模型能力（ModelCapability） 6

3.4.模型运营（ModelOperation） 6

3.5.模型应用（ModelApplication） 6

3.6.安全可信（SecurityandTrustworthiness） 6

3.7.服务能力成熟度评估（ServiceCapabilityMaturityAssessment） 7

3.8.智能化软件工程技术和应用要求（IntelligentSoftwareEngineeringTechnologyand

ApplicationRequirements） 7

4.评价原则 7

5.评价维度 7

6.总体评价方法 7

6.1.定量评估 7

6.2.定性评估 8

7.各维度评价方法和流程 8

7.1.任务支持度评价方法和流程 8

7.2.场景丰富度评价方法和流程 13

7.3.行业覆盖度评价方法和流程 25

7.4.服务成熟度评估方法和流程 28

7.5.评价过程 34

7.6.评价结果的应用 35

7.7.标准更新与维护 35

3

T/SCBDIF001-2024

本标准按照GB/T1.1-2009给出的规则起草。本标准由四川大数据产业联合会提出并归口。

本标准起草单位

四川省大数据产业联合会（四川省大数据产业联合会先进算力研究中心）中国电信股份有限公司四川分公司

北京百度网讯科技有限公司成都百智云行科技有限公司成都智算中心

华为技术有限公司（四川代表处）

云南南天电子信息产业股份有限公司成都数之联科技股份有限公司

金蝶软件(中国)有限公司四川省公司用友网络科技股份有限公司四川区

成都明途科技有限公司

成都同步新创科技股份有限公司钉钉(中国)信息技术有限公司

四川生学教育科技有限公司

北森云计算有限公司

本标准主要起草人

朱小军、王艳、徐思宇、蓝青、沈跃锦、姜啸、廖显、左川民、傅彦、郑敏芝、严帅、孟胜、张何君、雍瑞雯、叶珩、邵郑涵、陈长志

本标准首次发布

本文件内容若涉及相关专利，本文件的发布机构不承担识别这些专利的责任。

4

T/SCBDIF001-2024

引言

当前，国产大模型科研创新加速，成为国家综合科技实力的体现。AI大模型是当代人工智能技术革新的前沿，它通过海量数据训练，具备强大的语言理解、生成和逻辑推理能力，深刻地改变信息处理、决策支持、内容创作等多个领域。AI大模型不仅提升了生产效率和准确性，还推动了个性化服务和智能交互的发展，成为推动各行各业数字化转型和智能化升级的关键驱动力。AI大模型不仅包括语言模型（如GPT系列）、视觉模型（如ResNet、Transformer）、多模态模型，还包括经过农业、制造业、医疗、法律、交通和金融等垂直行业领域特定数据训练以解决特定行业复杂问题的专业模型。除此以外，还包括用于辅助或自动化决策过程的决策支持模型，以及生成对抗网络（GANs）等，用于创建逼真的图像或模拟复杂场景。各类AI大模型模型各有专长，正推动着人工智能技术的多样化发展和广泛应用。与此同时，不同种类的大模型由于技术路线不同、应用场景不同，缺乏统一的能力评价体系。

编制AI大模型应用能力成熟度评价团体标准，对于促进人工智能产业的健康发展，具有深远的积极意义。通过编制和发布AI大模型应用能力成熟度评价团体标准，

一是有助于构建统一的评估框架，确保各类大模型的能力得到客观、全面的衡量，促进技术发展的标准化与规范化；

二是通过成熟度评价，能够明确不同模型在不同场景下的适用性，为企业和机构在选择与应用AI大模型