2024云边一体化人工智能算力资源开放与适配平台模型服务标准.pdf

云边一体化人工智能算力资源开放与适配

平台模型服务标准

Contents

前言3

1.范围4

2.定义和缩略语4

2.1定义4

2.2缩略语4

3.在线推理服务标准4

3.1参数定义4

3.1.1接口描述5

3.1.2请求说明5

3.1.3返回说明5

3.1.4错误码6

3.1.5安全签名规则6

3.2性能部分7

4SDK标准7

4.1简介7

4.2请求说明7

4.3集成指南7

4.4接口说明8

4.5常见问题及错误码描述9

参考文献9

─云边一体化项目数据接入标准

─云边一体化项目兼容主流框架标准

─云边一体化项目模型格式转换标准

─云边一体化项目模型服务标准

1.范围

本标准规定了通过云边一体化平台发布的模型服务的规范标准，包含在线推理服务标准和

SDK标准。

本标准适用于模型开发人员及运维人员，所有通过平台发布的模型服务，应遵守统一的规范标

准。

2.定义和缩略语

下列术语、定义和缩略语适用于本文件。

2.1定义

secretKey：密钥。

timestamp：13位时间戳，自1970年1月1日0时起的毫秒数，为了防止用户时钟与服务器时

钟不同步而导致的认证失败，此处引入5分钟的宽松系数。如果服务器收到请求的时间不符合以上时

间要求，则认为请求超时，拒绝该请求；如果符合上述要求，则执行下一步操作。

sign:签名。

2.2缩略语

APIApplicationProgrammingInterface应用程序编程接口

JSONJavaScriptObjectNotationJavaScript对象表示法

RESTRepresentationalStateTransfer表述型状态转移

URLUniformResourceLocator统一资源定位器

SDKSoftwareDevelopmentKit软件开发工具包

QPSQueries-per-second每秒查询率

3.在线推理服务标准

应采用Restful规范，并根据模型类型，生成对应的参数定义和性能指标。

3.1参数定义

参数定义部分，应包括URL地址、安全签名规则、请求和返回格式等信息。

3.1.1接口描述

功能描述必填项。需清楚地描述该服务对应的功能，其中，分类问题需

指出种类信息。

接口使用必填项。需区分免费和付费服务的调用限制。

数据要求必填项。图片要求可包括：图片格式、图片像素尺寸、图片

Base64大小。

视频要求可包括：视频格式、视频文件大小。

语音要求可包括：音频格式、音频采样率、声道数、音频文件

时长、音频文件大小。

3.1.2请求说明

接口地址必填项。

https://{platform}/{domain}/{api_name}，

其中platform变量为实际部署平台，

domain变量由平台自行确定，api_name

为接口名称。

请求方式必填项。Post。

请求参数Query请求参数必填项。为