20250320-AiDD-计算机行业2024AI+研发数字峰会：SUBLLM新架构，文本下采样机制革新大语言模型效率.pdfVIP

SUBLLM新架构：

文本下采样机制革新大语言模型效率

王全东小米大模型团队

演讲嘉宾

王全东

小米大模型团队大模型高级算法工程师

中国科学院声学研究所博士、美国佐治亚理工访问学者、中科院认证高级

工程师，长期从事大语言模型、多模态、语音识别等领域研究，曾获多项

顶会竞赛冠亚军奖项，已发表顶会论文十余篇，拥有专列多项。深度参与

了小米自研大模型从0到1的研发过程，荣获2024年度CCF计算机应用创

新技术一等奖。近期和DanielPovey等提出SUBLLM新架构，被量子位等

科技媒体报道。

1.长文本模型的技术挑战

2.SUBLLM架构

目录3.主要实验结果

CONTENTS4.分析与讨论

5.总结与展望

0YEVsQrPmQmMoPpMoQqPpR6MaOaQsQpPsQnQeRpPtQkPsQpO6MqRpPxNmNsOMYsQnQ

PART01

长文本模型的技术挑战

长文本模型的技术挑战

长文本需求旺盛

行业报告长文写作

多人会议摘要学术论文分析…

新闻摘要长篇翻译

长文本模型的技术挑战

长文本模型结构：

DecoderonlyTransformer结构：Llama类似结构，attention的平方复杂度

,byMeta,2023

长文本模型的技术挑战

训练成本高：attention的平方复杂度

8k窗长32K窗长200K窗长1M窗长

2~15Ttokens5~10Btokens5~10Btokens5~10Btokens

主要优化点

长文本模型的技术挑战

模型窗长扩展方法：数据方向，训练成本不高

1.DataEngineeringforScalingLanguageModelsto128KContext

长文本模型的技术挑战

模型窗长扩展方法：位置编码方向，训练成本不高

2.YaRN:EfficientContextWindowExtensionofLargeLanguageModels

NTK-by-parts+温度控制

长文本模型的技术挑战

模型窗长扩展方法：位置编码方向，训练成本不高

3.PoSE:EfficientContextWindowExtensionofLLMs

viaPositionalSkip-wiseTraining

长文本模型的技术挑战

训练成本主要在8k预训练阶段：attention的平方复杂度

8k窗长