计算机行业大模型系列报告：Transformer架构的过去、现在和未来-财通证券.pdfVIP

行业专题报告/证券研究报告

内容目录

1Transformer架构的过去和现在4

1.1人脑带来的启示：数据的无损压缩4

1.2Transformer应运而生：Attentionisallyouneed6

1.3Transformer的优势：规模扩展、多模态能力9

2Transformer架构的未来12

2.1Transformer架构的局限性12

2.2Transformer架构的挑战者13

2.2.1RetNet14

2.2.2Mamba16

2.2.3RWKV（ReceptanceWeightedKeyValue）18

2.2.4Hyena20

2.2.5线性注意力机制21

2.3架构展望：更低计算复杂度、更低成本、更高效率24

3投资建议25

4风险提示25

图表目录

图1.大语言模型（LLMs）自进化概念框架图4

图2.大语言模型（LLMs）与大脑相似性估计框架的示意图5

图3.大语言模型上不同提示添加策略与大脑相似性5

图4.大语言模型在处理积极和消极情感文本时与大脑的相似性5

图5.Transformer模型架构6

图6.注意力机制预测下一个词汇7

图7.缩放点积注意力（ScaledDot-ProductAttention）原理和Softmax公式8

图8.多头注意力（Multi-HeadAttention）原理和MHA公式9

图9.Transformer和LSTM在不同参数数量和上下文长度下的测试损失10

图10.主流大模型参数量变化10

图11.RNN/LSTM、CNN和Transformer在跨模态任务中的优势、劣势11

图12.Transformer架构的计算复杂度过高来源于其自注意力机制SoftmaxAttention12

图13.大模型参数量不断膨胀，已达1000B13

2

行业专题报告/证券研究报告

图14.谷歌COREML/AI副总裁BillJia在2024年硅谷华源科技年会上接受采访14

图15.潜在的Transformer架构替代架构14

图16.RetNet的并行与循环过程15

图17.RetNet同时实现训练并行性、良好性能和低推理成本这一“不可能的三角”16

图18.状态空间模型（SSM）的架构示意图16

图19.RNNs、Transformers和SSMs在自回归序列建模任务中的优缺点17

图20.改进Mamba架构的现有研究总结（主要集中于修改块设计、扫描模式和记忆管理）17

图21.RWKV-6的tokenshift计算流程18

图22.RWKV-4、RWKV-5Eagle和RWKV-6Finch模型的上下文长度实验随版本迭代表现变好..19

图23.在RWKV-6Finch、Mamba和FlashAttention中，RWKV-6的显存占用率最低19

图24.RWKV基础模型的众多应用场景20

图25.Hyena算子的结构和工作原理21

图26.Softmax注意力和线性注意力的计算流程22

图27.AgentAttention的计算流程23

图28.不同模型大小的Transformer和TransNormerLLM的最大上下文长度23

图29.MiniMax-Text-01的结构24