T_CESA 1169-2021 信息技术 人工智能 服务器系统性能测试规范.docx

ICS35.240CCSL70

团

体标

T/CESA

准

1169—2021

信息技术人工智能

服务器系统性能测试规范

Informationtechnology—Artificialintelligence—

Specificationforperformancebenchmarkingforserversystems

2021-08-26发布2021-09-01实施

中国电子工业标准化技术协会发布

II

T/CESA1169—2021

目次

前言 II

引言 IV

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 3

5测试模式 4

5.1封闭模式 4

5.2开放模式 4

5.3场景 4

5.4测试信息 5

6训练过程 6

6.1测试流程 6

6.2场景 8

6.3指标及测量方法 13

6.4训练用测试系统要求 18

7推理过程 19

7.1测试流程 19

7.2场景 21

7.3指标及测量方法 26

7.4推理用测试系统要求 31

附录A(规范性)测试代码公开规则 33

A.1通则 33

A.2训练测试代码公开规则 33

A.3推理测试代码公开规则 33

附录B(资料性)测试场景说明 35

B.1图像识别 35

B.2物体检测 35

B.3语义分割 35

B.4推荐 35

B.5自然语言处理 35

B.6语音识别 35

B.7光学字符识别 36

B.8人脸识别 36

T/CESA1169—2021

III

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中国电子技术标准化研究院提出。

本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。

本文件起草单位：中国电子技术标准化研究院、中国科学院软件研究所、北京航空航天大学、华为技术有限公司、浪潮电子信息产业股份有限公司、腾讯云计算(北京)有限责任公司、上海依图网络科技有限公司、中科南京软件技术研究院、百度在线网络技术(北京)有限公司、北京旷视科技有限公司、曙光信息产业(北京)有限公司、科大讯飞股份有限公司、联想(北京)信息技术有限公司、飞腾信息技术有限公司、英特尔(中国)有限公司、上海商汤阡誓科技有限公司、上海仙塔智能科技有限公司。

本文件主要起草人：张琦、曹晓琦、鲍薇、董建、孟令中、薛云志、董乾、刘祥龙、尤昉、王恺、吴韶华、康真健、李仁刚、杨晓光、刘海涛、赵春昊、许源、武斌、高卉、刘珊珊、熊亮、魏荣、崔吉顺、梅敬青、张艺伯、许欣然、戴荣、许涛、尹斌、程鸣、谷潇聪、罗玉、王海宁、马超、温炜、金古、蒋慧、田绍清、郑洁。

IV

T/CESA1169—2021

引言

人工智能服务器和人工智能服务器集群是当前各行业应用中，承载人工智能计算的主要形态，已被广泛采用。人工智能计算设备的性能关系到各行业实施人工智能应用的效率和成本。然而，因为设备实现技术的多样性、各行业应用能力差异和大数据量训练、高并发推理等需求因素，设备实际性能成为应用关注的重点。对人工智能计算系统的性能瓶颈识别和验证，是推进人工智能应用优化，提升效率的先决条件。

本文件旨在提供规范、全面、兼顾行业常见场景的人工智能服务器和人工智能服务器集群性能测试方法及指标，为各领域用户人工智能计算系统的优化提供依据和途径。

1

T/CESA1169—2021

信息技术人工智能服务器系统性能测试规范

1范围

本文件规定了人工智能服务器系统，完成深度学习训练及推理任务的性能(运行时间、能耗、实际吞吐率、能效、效率、弹性、承压能力等)测试方法。

本文件适用于人工智能服务器系统的性能评估。

2规范性引用文件

本文