硅基流动高性能低成本的大模型推理云实践.pdf

硅基流动高性能

大模型推理云实践

陈凯

2024-08

••••••••

内容提纲

•大模型推理云背景

•供给侧加速进化的大模型

•需求测多样化的大模型需求

•大模型推理云挑战

•大模型推理挑战

•推理上云的挑战

•大模型推理云实践

•核心引擎建设

•推理云平台建设

•总结与回顾

••••••••

大模型推理云背景：加速进化的大模型能力（以LLM为例）

1./visualizations/the-rise-of-generative-ai-large-language-models-llms-like-chatgpt/

2.https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard，2024年8月15日检索。

••••••••

大模型推理云背景：多样化的大模型需求（以LLM为例）

1.https://openrouter.ai/rankings，2024年8月15日检索。

2./100-gen-ai-apps/,2024年8月15日检索。

••••••••

内容提纲

•大模型推理云背景

•供给侧加速进化的大模型

•需求测多样化的大模型需求

•大模型推理云挑战

•推理挑战

•云上挑战

•大模型推理云实践

•核心引擎建设

•模型云建设

•总结与回顾

••••••••

大模型推理挑战：需要严苛而昂贵的硬件资源

KVcachesize=(batch_size)*(sequence_length)*2*(num_layers)*(hidden_size)*(pricision_in_bytes）

（上图使用fp16，其中乘数2包含了K和V的矩阵）

1.VaswaniA.Attentionisallyouneed[J].arXivpreprintarXiv:1706.03762,2017.

2.https://huggingface.co/blog/llama31

3./blog/mastering-llm-techniques-inference-optimization/

4.https://youtu.be/hMs8VNRy5Ys

••••••••

大模型推理挑战：本身是一个慢而昂贵的任务

1./cocktailpeanut/status/245731

2.htts:///market/list

••••••••

大模型推理不可能三角：难满足质量好、模型快同时价格低

1.https://artificialanalysis.ai/models

2.https://www.aidancooper.co.uk/how-to-beat-proprietary-llms

3./cocktailpeanut/status/245731

••••••••

大模型推理挑战：模型推理优化兼具理论和工程难点

••••••••

大模型推理云挑战