《智能终端大模型应用评估规范》TTAF 255—2024.pdfVIP

ICS33.050

CCSM30

团体标准

T/TAF255—2024

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

2024-11-01发布2024-11-01实施

电信终端产业协会发布

TTAF255—2024

目次

前言II

1范围1

2规范性引用文件1

3术语和定义1

4缩略语1

5评估框架2

5.1智能终端大模型应用评估基本框架2

5.2模型性能2

5.3应用能力2

5.4核心场景2

6评估方法概述3

6.1总体要求3

6.2评估方与被评估方3

6.3选择评估指标3

6.4制定评估计划3

6.5模型评测3

7模型性能4

7.1模型体积4

7.2内存占用峰值4

7.3响应时间4

7.4功耗4

8应用能力5

8.1语言类应用5

8.2图像类应用9

8.3语音类应用12

8.4多模态类应用13

9核心场景15

附录A（资料性）终端大模型应用的核心服务场景16

I

TTAF255—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位：中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为

终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华（北

京）技术有限公司。

本文件主要起草人：张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立

发、张宏伟、高斌、刘妍、梁君、李一冉。

II

TTAF255—2024

智能终端大模型应用评估规范

1范围

本文件规定了智能终端大模型应用的评估指标，可用于指导第三方测评机构对生成式AI和大模型相

关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用，可不

限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、音频、视频等内容的

人工智能服务。

3.2

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有

数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数

千亿((10^{11}))甚至更