2024 云栖大会微服务和网关相关演讲材料.docx

从云原生到AI原生，

网关的发展趋势和最佳实践

云原生API网关重磅发布

谢吉宝（唐三）

阿里云智能集团资深技术专家、云原生产品线中间件负责人

软件架构的演进历程

单体架构垂直架构

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

按量使用极致弹性服务管理RPC技术实现快维护成本高模块化负载均衡高密度部署原子、自治KubernetesRuntime?

按量使用

极致弹性

服务管理

RPC技术

实现快

维护成本高

模块化

负载均衡

高密度部署

原子、自治

Kubernetes

Runtime

?

流量网关ESB微服务网关云原生网关AI

流量网关ESB微服务网关云原生网关AI网关？

AI原生的新挑战

高延时长连接大带宽API多AI原生应用架构

高延时

长连接

大带宽

API多

AI原生应用架构

由AI场景常见的Websocket和SSE协议决定，长连接比例很高，要求网关更新配置操作对长连接

由AI场景常见的Websocket和SSE协议决定，长连接比例很高，要求网关更新配置操作对长连接无影响，业务无感。

AI应用

Agent、轻量

AI时代会以轻量的AI智能体做为主流，所有的系统交互全由API进行通信。API会成为AI原生的一等公民。

结合LLM上下文来回传输、高延时特性，AI场景对带宽的消耗远超普通应用，网关如果没有实现较好的流式处理和内存回收机制，容易导致内存快速上涨。

LLM

LLM大语言模型

AI网关

我们到底需要多少个网关？

接入网关业务网关

接入网关

业务网关

安全网关流量网关

安全网关

流量网关

微服务API管理?长链接AI网关协议转换大带宽高延时

微服务

API管理

?

长链接

AI网关

协议转换

大带宽

高延时

路由

云原生网关

服务发现

智能稳定安全性能

智能

稳定

安全

性能

集成

集成

网关的发展趋势

智能化云原生高集成

智能化

云原生

全新ModelK8sPOD云产品：云原生API网关（Higress开源项目）K8s新一代网关模式业务请求安全防护流量防护开放平台服务发现

全新

Model

K8s

POD

云产品：云原生API网关

（Higress开源项目）

K8s

新一代网关模式

业务请求

安全防护

流量防护开放平台

服务发现服务治理

后端服务

流量网关IngressAPI网关

微服务网关/AIProxy

POD

POD

Model

Model

K8s

传统网关模式

云原生API网关：正式商业化

扫码加入客户群

扫码加入客户群

1

1个月6折

免费试用不限购、不限时、不限是否首次购买

CONTENT

价值优势

01高集成：零代码构建AI应用

02零信任：AI防护内容合规

03高性能：软硬一体加速响应体验

04高可用：服务治理无损变更

高集成：零代码构建AI应用

AI开发插件集LLM缓存提示词请求/响应转换向量检索AI安全防护内容审核插件Token限流插件g过Token配额插件多模型适配协议转换

AI开发插件集

LLM缓存

提示词

请求/响应转换

向量检索

AI安全防护

内容审核插件

Token限流插件g过Token配额插件

多模型适配

协议转换

AI

重试

Fallback

代理插件

API

可观测

AI统计插件

LLM访问日志

Token消费观