豆包引领，国内AI推理算力需求几何？.docx

内容目录

内容目录

字节即将重磅发布，AllforAI 3

国内推理算力需求几何？ 5

当前推理算力估算-不含视频模型 6

视频类AI推理算力估算 8

投资建议 9

风险提示 9

图表目录

图表目录

图1.火山引擎2024冬季原动力大会干货速览 3

图2.豆包大模型家族涵盖广泛 4

图3.目前豆包AI视频模型仍处于测试阶段需单独申请使用 4

图4.火山引擎提供的非字节大模型 5

图5.大模型推理算力需求估算框架 6

图6.当前国内大模型APP推理算力需求测算 6

图7.2024年6月，月活Top20App用户AIGC嵌入情况 7

图8.国内应用APPtop20月活：AIvs传统 7

图9.SORA实际界面 8

图10.视频AI推理算力测算 8

字节即将重磅发布，AllforAI

火山引擎冬季原动力大会，豆包大模型家族即将全面升级。2024年12月18-19日，字节火山引擎将于上海举行冬季原动力大会，大会主题围绕AI展开。根据官网信息，大会中将有豆包系列大模型全面升级，以及事关AI+企业服务、AI+产业转型等AI赋能实体经济案例与话题分享。

图1.火山引擎2024冬季原动力大会干货速览

数据来源：火山引擎官网，

豆包大模型家族涵盖全模态能力，DAU稳坐国内AI应用第一。目前，豆包大模型家族以Seed基座模型为基础，已经衍生出文字、音频（语音、音乐）、图片、视频全方位的模态理解/生成能力。根据量子位智库，2024年1-11月，豆包下载量超过1.6亿，11月单月DAU接近900万人次（10月单月DAU超750万人次）。

图

图2.豆包大模型家族涵盖广泛

数据来源：火山引擎官网，

视频生成模型仍处于测试阶段，有望在大会后正式开启商用。根据火山引擎官网，目前doubao-视频生成模型仍处于“测试版”阶段，需单独申请方可使用，正式可使用的视觉大模型中，并不包含视频类模型。我们认为，随着OpenAISora正式商用，字节豆包视频类大模型有望在近期大会中发布并开启商用。

图

图3.目前豆包AI视频模型仍处于测试阶段需单独申请使用

数据来源：火山引擎官网，

火山引擎亦提供非豆包服务，字节算力需求旺盛。除了豆包相关大模型，火山引擎亦提供智谱AI、Moonshot、MistralAI的模型。同时支持模型精调、测评、智能体搭建等。我们认为，以字节为代表的互联网大厂算力需求不仅来自于自身业务与模型诉求，同时亦有为初创型大模型厂商提供的算力供应，需求空间广阔。

图4.火山引擎提供的非字节大模型

数据来源：火山引擎官网，

国内推理算力需求几何？

对于推理算力的估算，我们回到最初OpenAI的论文，推理算力需求与模型参数量以及token数成正比。其中：

模型参数量：目前受限于算力成本以及供应，实际在商用中大规模使用的模型均远小于原本的基座大模型（如GPT与GPTturbo）。我们认为，模型参数侧的Scalinglaw是“大”模型智能涌现的一切前提，随着算力持续供给，实际大规模使用的模型参数量将持续提升。

处理数据量：对于文字类场景，以OpenAIo1模型为代表，不论是添加prompt还是“Thinkstepbystep”等，推理消耗的tokens越多，最终生成效果就越好。对于视觉类场景，更高清晰度即为更多tokens消耗。我们认为，为了更好的用户体验，推理侧的Scalinglaw将在愈演愈烈的用户流量竞争中进一步演绎。

用户量：与传统互联网应用相比，目前AI应用的用户体量仍处于初级阶段。同时除了用户直接使用大模型产品，传统应用的AI赋能升级亦有广阔算力需求。

图5.大模型推理算力需求估算框架

AI推理算力需求

模型参数量

∝更好地理解/生成效果

∝

=更大模型

处理数据量

××更多Prompt/更高清晰

×

×

度…=更多Tokens

活跃用户量

ScalingLawmorethanjustpre-training

数据来源：《ScalingLawsforNeuralLanguageModels》OpenAI，绘制

当前推理算力估算-不含视频模型

当前国内大模型APP推理算力需求或在数十万颗GPU（以H20计算）级别。根据火山引擎官网，目前豆包日均tokens消耗数为13000亿+，其中包含除视频类之外的其他多模态模型（文字、语音、图片），由于各模态比例以及实际模型结构未公开，我们计算以LLM模型推理算力计算公式为基