《人工智能 终端硬件推理平台接口标准》.docxVIP

ICSFORMTEXT35.040

CCSFORMTEXTL71

团体标准

T/AIFORMTEXTXXX.FORMTEXTXX—FORMTEXTXXXX

FORMTEXT?????

人工智能终端硬件推理平台接口标准

FORMTEXTArtificialIntelligenceTerminalHardwareInferenceInterface

（征求意见稿）

FORMTEXT（在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上）

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX实施

中关村视听产业技术创新联盟发布

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX发布

T/AIXXX-XXXX

T/AIXXX-XXXX

PAGE

PAGEII

PAGE

PAGE1

T/AIXXX-XXXX

PAGE

PAGEI

目??次

TOC\o1-3\h\z\u

前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 1

5整体架构 2

5.1使用场景 2

5.2接口分类 2

6算子 3

7模型构建接口 3

7.1算子注册类接口 3

7.2Graph接口 5

7.3Model接口 7

8模型编译接口 9

8.1BuildIRModel接口 9

9模型执行接口 9

9.1Init接口 9

9.2Load接口 9

9.3Process接口 10

9.4UnLoad接口 10

9.5Cancel接口 10

9.6DeInit接口 10

附录A（资料性附录）接口示例基于C++语言描述 12

附录B（资料性附录）使用步骤描述 19

前??言

本文件按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。

本文件由中关村视听产业技术创新联盟归口。

本文件起草单位：华为技术有限公司、旷世科技有限公司、科大讯飞有限公司、字节跳动有限公司。

本文件主要起草人：文长春、马伟刚、秦巍、纪东良、麦睿楷、李小娟、关贺、刘勇。

PAGE

PAGE18

PAGE

PAGE17

人工智能终端硬件推理平台接口标准

范围

本文件规定了终端硬件推理平台的算子、模型构建、模型编译以及模型执行等不同类型接口的定义。

本文件适用于终端硬件推理平台API的设计和开发。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注明日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

T/AIXXX.1-202X人工智能算子接口第1部分：基础数学类算子

T/AIXXX.2-202X人工智能算子接口第2部分：神经网络类算子

T/AIXXX.3-202X人工智能算子接口第3部分：机器学习类算子

术语和定义

下列术语和定义适用于本文件。

AI模型artificialintelligencemodel

使用数据和专家知识进行“训练”，并模拟人的决策过程以实现自动化和理解的数学算法。

推理平台接口inferenceplatforminterface

推理平台对AI模型进行构建、编译、执行等操作的功能接口。

IR模型intermediaterepresentationmodel

与硬件无关的、神经网络计算的图表达中间层。

缩略语

下列缩略语适用于本部分。

AI：人工智能（ArtificialIntelligence）

API：应用程序编程接口（ApplicationProgrammingInterface）

APP：应用程序（Application）

IR：中间表示（IntermediateRepresentation）

整体架构

使用场景

整体架构

应根据使用场景的需求调用相应API，实现AI模型硬件加速。API编程语言宜使用C++实现。本标准的应用场景包含但不限于下列三种典型场景。

场景1：APP通过第三方框架构建AI模型。该场景适用于使用第三方框架训练好的AI模型。三方框架通过调用算子类接口完成算子级联；通过Grap