大模型推理框架升级之路.pptx

大模型推理框架升级之路

我们将从四个优化专项介绍如何优化大模型推理框架性能量化投机采样TTFT与TPOT的优化通信优化

01量化量化作为大模型最重要的性能优化手段，能有效降低显存占用，降低访存量，充分利用计算资源以下是大模型计算流程：

Weight-int8+KV_cache_int8最早上线的一个版本，显著降低显存占用，使得模型使用较少卡启动，增大服务承载能力，降低成本50%weight跟kvcache在推理框架占用显存为大头，优先优化能有效降低成本

Activationint8A8是在w8/kv8基础上对gemm相关计算的输入激活进行量化，能有效降低gemm运算耗时，首token耗时下降50%，成本下降15%

Weight-int4+kv_cache-int4Int4主要目标是将显存占用压至更低，能在低端卡型上部署并支持更长的序列，支持更大的batch，成本下降30%使用了类似quorat的技术，并结合marlin算子，针对性做了优化，已在多个业务落地，后续可能会有论文输出Communicationint8通信量化，降低低端卡通信耗时开销，首token耗时下降30%后续会有论文产出AttentionQKVint8将gemm计算全线转为int8计算Q(int8)*K(int8)-softmax-V(int8)目前处于开发中

02投机采样投机采样就是利用decode过程算力冗余使用额外的技术生成多个候选token同时输送给大模型并行验证，充分使用算力且不会增加额外太多的时延1(大模型输出的最后一个token)+4(候选token)-一次验证通过4个token需要考虑云端大batch下候选token数量限制

Clover模型结构设计路线使用transformerblock前几层信息预测效果不好尝试获取全局的信息而不是仅仅当前预测token的信息通过ht+1=concat(token_emb,ht)效果提升有限尝试attention结构qk之争，h表示全局信息，不断吸收token_emb效果不错/abs/2405.00263尝试使用前置候选token信息辅助后续token预测单独建一层可学习的transformerblock收集全局信息提升不错

Sample策略我们的目标是大batch场景下投机有效，要求的候选token仅仅为4，此时sample策略就影响很大了开源的都是固定组合的形式，如head_0_top1+head_1_top1+head_2_top1，head_0_top2+head_1_top1+head_2_top1动态构建候选token树，较为激进的贪心有哪些信誉好的足球投注网站策略核心策略：单token级别(保证树深度)1.prob先进行topp丢弃按照top1/4长尾小概率丢弃tokentree级别(子节点排序依据)1.从根节点的联合概率排序每层token预算数量(保证树最大宽度，防止计算量激增)1.去除所有父节点token数

Clover收益命中率上提升50%+，端到端推理速度提升30%+

Clover2模型结构升级/abs/2408.00264loss优化仅仅根据CrossEntropyLoss预测token偏序关系，训练多轮，过拟合会出现对一些高频token增强概率的情况增加数据蒸馏loss使得clover能更加关注与主模型的一致性上，而不是走捷径主模型预测token信息前置，提前加入transformerblock，帮助更远的预测

Clover2模型结构升级3.Regressiveattentionblockoutputprojector结构提升后几个head预测能力4.增加AugmentingBlock层数，增强全局信息提取能力AugmentingBlock位于第一个head之前只会跑一次，增加层数不会导致跑多次的问题，eagle增加层就会导致每个head都多跑，耗时会暴增这为clover提供更多可能，可以设计更加复杂的AugmentingBlock，我们尝试最简单的加层获取收益

Clover2收益clover为rnn为主的架构，但仍然能打败eagle这种以decodelayer为主的模型结构在各个数据集上都超过eagle命中率最大提升7.7%，端到端推理速度最大提升9.3%

03TTFTTPOT优化首token耗时与decode每个token间耗时的平衡驱动来源于用户体验上优化，当一个新的用户请求进入时会导致现有做decode的请求被卡住

Chunkprefillchunkprefill是将单次prefill计算拆分为多段计算的技术，能有效降低decode间隔时间

Chunkpre