计算机行业快报：UltraMem架构为推理降本，AI应用全面落地可期.pdfVIP

计算机行业快报领先大市-A(维持)

UltraMem架构为推理降本，AI应用全面落地可期

2025217/

年月日行业研究行业快报

计算机行业近一年市场表现事件描述：

2月12日，字节豆包大模型团队发布全新的稀疏模型架构UltraMem，

有效解决了当前主流的MoE架构在推理时产生的高额访存问题，推理速度

较MoE架构提升2-6倍，同时推理成本最高可降低83%。

事件点评：

UltraMem在PKM架构的基础上对模型结构、value检索方式、稀疏参

数进行优化，在保证模型性能的同时大幅提升推理效率。UltraMem架构参

资料来源：最闻考PKM（ProductKeyMemory）的设计，即Transformer层中嵌入大内存层

以及推理时以行列路由的方式激活参数，访存效果较MoE架构明显改善。

首选股票评级

同时，UltraMem对PKM架构进行针对性优化以提升模型性能：1）优化模

688111.SH金山办公买入-A

型结构：将PKM的单个内存层拆分成多个内存层均匀嵌入Transformer层中，

688041.SH海光信息买入-A

使模型能够并行执行访存和Transformer层计算操作；2）优化value检索方

式：在推理时以TDQKR的乘法方法替代简单的行列加权方法选出得分最高

的多个value，使模型能够精准检索到与输入相关的value；3）隐式扩展稀疏

参数：引入数倍于physicalmemory的virtualmemory，在不提高模型部署复

杂度的情况下提升模型性能。根据实验结果，训练规模达2000万value的

相关报告：

UltraMem模型，在同等计算资源下可同时实现业界领先的推理速度和模型

【山证计算机】DeepSeek有望推动AI

性能。

应用生态加速繁荣2025.2.6

推理成本持续下降加速应用生态繁荣。根据Semianalysis数据，随着算

【山证计算机】《人工智能扩散框架》发

法持续进步，截至2024年底，以GPT-3质量的输出为标准，模型推理价格

布，AI芯片国产化替代持续加速-行业政

下降了1200倍。进入2025年，在推理技术优化下，DeepSeek模型的使用成

策点评2025.1.20

本不到o1模型的1/25，而字节必威体育精装版发布的UltraMem架构将使主流稀疏模型

的推理成本大幅下降。我们认为，模型调用价格是用户选择模型运行应用的

分析师：重要考量因素，各大模型厂商及科技大厂将持续竞相推动推理成本下降，从

方闻千