计算机行业大模型系列报告：Transformer架构的过去、现在和未来-财通证券.docx

内容目录

内容目录

Transformer架构的过去和现在 4

人脑带来的启示：数据的无损压缩 4

Transformer应运而生：Attentionisallyouneed 6

Transformer的优势：规模扩展、多模态能力 9

Transformer架构的未来 12

Transformer架构的局限性 12

Transformer架构的挑战者 13

RetNet 14

Mamba 16

RWKV（ReceptanceWeightedKeyValue） 18

Hyena 20

线性注意力机制 21

架构展望：更低计算复杂度、更低成本、更高效率 24

投资建议 25

风险提示 25

图表目录

图表目录

图1.大语言模型（LLMs）自进化概念框架图 4

图2.大语言模型（LLMs）与大脑相似性估计框架的示意图 5

图3.大语言模型上不同提示添加策略与大脑相似性 5

图4.大语言模型在处理积极和消极情感文本时与大脑的相似性 5

图5.Transformer模型架构 6

图6.注意力机制预测下一个词汇 7

图7.缩放点积注意力（ScaledDot-ProductAttention）原理和Softmax公式 8

图8.多头注意力（Multi-HeadAttention）原理和MHA公式 9

图9.Transformer和LSTM在不同参数数量和上下文长度下的测试损失 10

图10.主流大模型参数量变化 10

图11.RNN/LSTM、CNN和Transformer在跨模态任务中的优势、劣势 11

图12.Transformer架构的计算复杂度过高来源于其自注意力机制SoftmaxAttention 12

图13.大模型参数量不断膨胀，已达1000B 13

图14.谷歌COREML/AI副总裁BillJia在2024年硅谷华源科技年会上接受采访 14

图15.潜在的Transformer架构替代架构 14

图16.RetNet的并行与循环过程 15

图17.RetNet同时实现训练并行性、良好性能和低推理成本这一“不可能的三角” 16

图18.状态空间模型（SSM）的架构示意图 16

图19.RNNs、Transformers和SSMs在自回归序列建模任务中的优缺点 17

图20.改进Mamba架构的现有研究总结（主要集中于修改块设计、扫描模式和记忆管理） 17

图21.RWKV-6的tokenshift计算流程 18

图22.RWKV-4、RWKV-5Eagle和RWKV-6Finch模型的上下文长度实验随版本迭代表现变好 19

图23.在RWKV-6Finch、Mamba和FlashAttention中，RWKV-6的显存占用率最低 19

图24.RWKV基础模型的众多应用场景 20

图25.Hyena算子的结构和工作原理 21

图26.Softmax注意力和线性注意力的计算流程 22

图27.AgentAttention的计算流程 23

图28.不同模型大小的Transformer和TransNormerLLM的最大上下文长度 23

图29.MiniMax-Text-01的结构 24

Transformer架构的过去和现在

人脑带来的启示：数据的无损压缩

人类大脑的进化伴随着神经系统的复杂化，包括神经元数量、类型、连接方式以及大脑区域的扩展。这些变化主要由基因的复制和分化驱动。大脑区域的模块化进化加速了这一过程，因为不同的模块可以独立进化。随着我们对大脑认知机制的深入了解以及计算机科学的进步，研究人员尝试通过算法量化大脑的认知功能，将人类的思维模式映射到人工智能上。目前，人工智能大模型的进化主要依赖于人工版本的更新。而随着技术的发展，研究人员正在探索自我进化的模型，使其能够自主完善和学习由自身生成的经验，从而推动人工智能向更高级的智能发展。

图1.大语言模型（LLMs）自进化概念框架图

数据来源：ZhengweiTao等论文《ASurveyonSelf-EvolutionofLargeLanguageModels》，

注：概念框架图展示了大语言模型的进化目标（EvolutionObjective），包括能力（Ability）和方向（Direction），以及自进化的4个阶段：1）经验获取（ExperienceAcquisition）；2）经验精炼（Exp