《智能终端大模型应用评估规范》.pdf

ICS33.050

CCSM30

团体标准

T/TAFXXX—XXXX

智能终端大模型应用评估规

EvaluationspecificationforLLMsapplicationsonsmartterminals

XXXX-XX-XX发布XXXX-XX-XX实施

电信终端产业协会发布

T/TAFXXX—XXXX

目  次

前言II

1范围1

2规范性引用文件1

3术语和定1

4缩略语1

5评估框架2

5.1智能终端大模型应用评估基本框架2

5.2模型性能2

5.3应用能力3

5.4核心场景3

6评估方法概述3

6.1总体要求3

6.2评估方与被评估方3

6.3选择评估指标3

6.4制定评估计划4

6.5模型评测4

7模型性能4

7.1模型体积4

7.2内存占用峰值4

7.3响应时间4

7.4功耗5

8应用能力5

8.1语言类应用5

8.2图像类应用9

8.3语音类应用12

8.4多模态类应用14

9核心场景15

附录A（资料性）16

I

T/TAFXXX—XXXX

前  言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位：中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为

终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华

（北京）技术有限公司。

本文件主要起草人：张沛、翟梦冉、刘恩琦、李根、李辰淑、杜思清、麦睿楷、刘跃、高立发、张

宏伟、高斌、刘妍、梁君、李一冉。

II

T/TAFXXX—XXXX

智能终端大模型应用评估规

1范围

本文件规定了智能终端大模型应用的评估指标，可用于指导第三方测评机构对生成式AI和大模型相

关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用，可不

限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本

文件。

GB/T41867-2022信息技术人工智能术语

GSMATS.47AIMobileDeviceRequirementsSpecification

3术语和定义

下列术语和定义适用于本文件。

3.1

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、