小米大模型端侧部署落地探索（33页）.pptxVIP

小米大模型端侧部署落地探索

;

CONTENTS;

端侧AI的重要性;

在终端设备上直接运行和处理人工智能算法;;;

小米为什么做端侧AI

l（软件×硬件）A?

l轻量化、本地部署是小米大模型技术主力突破方向

l小米的端侧设备数量大;

LLM端侧部署的挑战;;;

平均阅读速度：

对于母语读者，平均阅读速度通常在300至500个字每分钟。（50+字/s）

快速阅读速度：

快速阅读者或经过训练的读者可以达到500至700字每分钟，甚至更高。（100+字

/s）;

相关技术探索;

减少计算量

?剪枝

?量化

减小数据搬运?剪枝

?量化

?投机推理;

LLM剪枝

移除神经网络中不重要的权重，或者完全移除这些权重对应的神经元连接。;

LLM剪枝

结构化剪枝目前硬件支持最友好;

l剪枝+少量恢复训练超越相同大小的预训练模型

l简单但很重要，这个结论让剪枝有了意义

[ICLR’24]ShearedLLaMA:AcceleratingLanguageModelPre-trainingviaStructuredPruning;

高效剪枝TransAct

我们的结构设计有以下特点：

1）保留深度和hiddendim

2）减小MHA和MLP模块内的激活维度

3）参数量相近时，KVcache显著减小;

计算量端到端时延(w4a16);

剪枝效果结构有哪些信誉好的足球投注网站;

什么是量化(quantization)？

?在深度学习领域，量化是将浮点数值转化为定点数值的方法。;

存储开销

带宽开销（显存-SRAM）

计算开销;

影响量化精度的几个因素

?量化位宽

?量化粒度

?量化范围

?离群值(Outlier);;

LLM量化

参数弥补

?逐行量化参数，适当调整未量化的权重来弥补造成已经量化参数的损失;

自回归LLM的缺陷：

1）每次前向计算只生成一个词

2）LLM前向需要大量的数据访问和搬运

解码阶段算力充足，但带宽不足

解决方案：投机推理

?充分利用算力

?减少带宽压力

?一次前向生成多个tokens;

投机推理的流程

?SpeculativeInference：

采用高效的的方式获取1个（或多个）解码候选

?Verification：

???用原LLM对解码候选做并行验证，保留符合输出条件的部分;

Prompttokens

Promptkvcache

BiTA:Bi-DirectionalTuningforLosslessAccelerationinLargeLanguageModels;

采样词的logits取topK，形成树状结构进行验证;;

总结与展望;

?模型

1.3B~6.7B;

融合;

THANKS

智能未来，探索AI无限可能

IntelligentFuture,Exploringthe

BoundlessPossibilitiesofAI