大模型系列报告(一)：Transformer架构的过去、现在和未来-财通证券.pdfVIP

计算机/行业_题报告/2025.01.19

大模型系列报告ÿ一ĀÿTransformer架构的过

去1Ā在和未来

证券研究报告

投资评级:看好(维持)€心Ê点

最à12o^场表Ā❖Transformer架构的过去和Ā在ÿ人类大脑在p限的资源条þQ，通过神

经元回路的自Ā装和微调，实Ā了高效的信o处理2~了`化信o处理，大

计算机沪深300P证指数脑发展了高效的信o选择和投注机制——注意力，而非依赖超大容à的处理

41%能力2Ÿ着s们对大脑认知机制的深入了解ñ及计算机科学的ßm，研究人

28%员尝试通过算法à化大脑的认知ß能，将人类的思维模式映射到人工智能P2

16%Transformer是一种基于注意力机制的神经网络架构，由GoogleBrain团队

3%于2017€在论文:AttentionIsAllYouNeed;中ð出2通过摒``统循ÿ结

-10%构，Transformer利用自注意力机制并行处理序列元素，显著ð升了¯ÿ速

-22%度和长距离依赖建模能力2Transformer架构的灵活性，使wr~_多非自

然语言处理领域Yß模型构建的基础框架，展Ā出广阔的Þ用前o，包括但

O限于能够将O\模态的数据映射到统一的特à表示空间，促ß跨模态Þ用

分析师杨烨发展2目前，人工智能大模型的ß化要依赖于人工版本的更新2而Ÿ着€

SAC证书编øÿS0160522050001

yangye01@术的发展，研究人员k在探索自sß化的模型，使w能够自完善和学`由

自身生r的经验，Ð而èú人工智能U更高级的智能发展2`前AI的局限性

或在于w学`效率的PQ，而非数据O足2真k的智能O仅是数据à的堆ÿ，

相s报告而是在于对信o的压缩和ð炼，类似于通过总结第一性原理的方式获×更深

1.:电力信o化研究框架ÿÿ一Ā总章;

层l的智能2

2025-01-14

2.:英_达GB300含苞à，s注液

❖Transformer架构的未来ÿ}管Transformer凭借着Ā多`势r~如今的

冷和电源ÿ节;2025-01-14

流架构，但w并非}善}美，Ïp无法ÿ免的局限性，例如计算复g度高和

3.:智驾o报ÿ车^表Ā强劲，首个

计算r本高2目前对Transformer架构的未来，要p两条道路，一是被更`

Robotaxi法规出炉;2025-01-12

ù的全新架构ÿï，Ð是在原p架构基础P通过`化注意力机制等方式ß行

升级，à两条道路都是通ß计算复g度更P1计算r本更P1效率更高à个

目标2