人工智能行业市场前景及投资研究报告：AI+研发，大语言模型服务管理实践.pdf

大语言模型服务管理的实践分享

1.LLM服务管理的特征与挑战

2.应对思路与方案

目录3.现有的技术基础之上扩展支持

CONTENTS4.MSM:用于管理GenAI/LLM工作

负载的统一方式

PART01

LLM服务管理的特征与挑战

GenAI/LLM服务管理面临独特的挑战

传统网络流量管理GenAI/LLM流量管理

•请求/响应大小较小•由于多模态流量，请求/响应大小较大

•许多查询可以并行处理•单个大语言模型查询经常占用100%的TPU/GPU计算时间

•请求一到达就进行处理•请求等待可用的计算资源

•处理时间以毫秒计算•处理时间从几秒到几分钟不等

•相似请求可以从缓存中得到处理•每次请求通常生成唯一内容

•请求成本由后端管理•根据请求将流量路由到更便宜或更昂贵的模型

•传统的轮询或基于利用率的流量管理•具备AI感知的负载均衡能力

流量请求调度TrafficRequestScheduling

Ø由于GenAI/LLM模型的⾃回归特性，LLM推理请求的有效服务⾯临不可预测的执⾏时间的挑战。

ØLLM服务系统⼤多采⽤先进先出（FCFS）调度，遭受⾏⾸阻塞（head-of-line）问题。

v基于历史数据和模型特性，训练出一个代理模型，用于预测每个推理请求的序列长度。

v利用代理模型的序列长度预测的推测最短作业优先（SSJF）调度器。

PART02

应对思路与方案

SSJF调度器-引入Token长度预测器

SSJF调度器请求批GPU集群

Request-SpeculativeShortestJob模型服务

PoolFirst处理

R1请

求

R2队Model,

列OutputToken

的Input

EndR3处LengthPredictor

Users理

·

·

·

预测Token长度

•输出Token长度（N）决定了请求的执行时间（T），因为T=C+K×N，

•K是生成一