罗璇-RWKV，开源模型架构，不一定是Transformer.pdf

开源模型架构，

不⼀定是Transformer

演讲⼈：罗璇

元始智能/COO

罗璇，多年“AI+机器⼈”产研经验

RWKV

元始智能联创COO前C轮机器⼈公司联创前阿⾥AILab产品总监

⼤模型的现状

很热闹不赚钱

（除了英伟达）

⽬录

CONTENTS

01Transformer的崛起与挑战02回顾RNN发展

03RWKV社区04RWKV开发者的实践

01

Transformer

崛起和挑战

✨⼤模型的历史

前神经⽹络-神经⽹络-⼤模型

Transformer迅速占据优势地位

Transformer相⽐RNN的优势

解决了RNN的核⼼问题

⾃注意⼒并⾏性

Transformer不使⽤隐藏状态来捕获Transformer通过在训练期间启⽤并

数据序列的相互依赖性。相反，它们⾏性来解决RNN⾯临的梯度问题。

使⽤⾃注意⼒头来并⾏处理数据序通过同时处理所有输⼊序列，

列。这使Transformer能够使⽤⽐Transformer不受反向传播限制，因

RNN更短的时间训练和处理更⻓的为梯度可以⾃由流向所有权重。

序列。

它们还针对并⾏计算进⾏了优化，图

借助⾃注意⼒机制，Transformer可形处理单元（GPU）为⽣成式⼈⼯智

克服RNN⾯临的内存限制和序列相能开发提供了这种优化。并⾏性使转

互依赖性。Transformer可以并⾏处换器能够通过构建更⼤的模型来⼤规

理数据序列，并使⽤位置编码来记住模扩展和处理复杂的NLP任务。

每个输⼊与其他输⼊的关系。

Transformer的应⽤场景

⾃然语⾔处理推荐系统多模态⽣物信息学

⾃动摘要⽤户⾏为序列模型⽬标检测蛋⽩质⽣成

机器翻译⽤户短期兴趣模型视频追踪基因语⾔模型

⽂本分类图像语义分割

多轮对话流式语⾳识别

Transformer⾯临的挑战

算⼒需求巨⼤，Scaling-law失效

02

回顾RNN发展

RNN是什么

循环神经⽹络（RNN）是⼀种深度学习模型，

经过训练后，可以处理顺序数据输⼊，并将其转换为特定的顺序数据输出