20250320-AiDD-计算机行业2024AI+研发数字峰会：RWKV，引领大模型架构变更的新型RNN.pdfVIP

RWKV，引领大模型架构变更的

新型RNN

林玥煜元始智能

演讲嘉宾

林玥煜

元始智能算法工程VP

原始智能算法工程VP，曾任大数医达科技有限公司算法总监，阿里巴巴

数据事业部系统架构师，多年来深耕大数据、人工智能在工业界应用和开

发管理。对大语言模型在严肃医疗场景的应用、开发拥有丰富的实战经验。

1.RWKV的历史

2.RWKV的架构特点

目录3.RWKV的基础模型

CONTENTS4.RWKV的落地场景

5.RWKV的未来发展方向

6.RWKV的评测结果

RWKV

新一代模型架构/超越Transformer

计算效率高无限上下文对芯片友好全球开源开放

推理速度、内存恒定适合长文本处理、多轮对话等只做矩阵乘矢量，无KVCacheApache2.0协议

项目历史

RWKV-67B

RWKV-5模型开源

RWKV-57B和RWKV-6

RWKV-6模型开源论文公开

全球开发者代码开源

RWKV-4超过2万

RWKV-414B论文公开

模型开源

RWKV-47B

一个人的模型开源

开源项目

2023.062023.082023.102023.122024.2

2020年初2022.112023.032023.052023.072023.102024.012024.042024.05

成立

元始智能

第一个

商业客户

高通

全球合作