互联网大厂AI战略调研20250326.docxVIP

以下为专家观点：

2025年字节跳动在基座模型方面的产品计划和发布时间如何安排？

2025年字节跳动计划在文本、图像和视频领域发布多款基座模型。2月份已推出一款面向视频处理的模型，但市场热度较快被DeepSeek应用带走。3月预计发布类似DeepSeekR1的思维类模型，并于4月初对外提供商业化服务（主要面向B端）。该模型目前已在内部应用平台“豆包”中上线测试。

字节跳动新发布的思维类模型与友商相比有哪些特点？

新发布的思维类模型能力接近DeepSeekR1，在情感对话、内容抽取以及文字处理等领域表现略优于竞品，同时也具备内容检索和数据分析功能。然而，该版本在数学代码及逻辑判断方面表现平平。整体来看，该版本属于可用级别的思维类模型。此外，字节跳动采用自研MOE架构进行开发，并探索低精度训练技术，如FP8,总体上以自研为主，同时也会参考友商的方案。

字节跳动目前使用的算力配置情况如何？

当前线上运行的自研基座模型参数规模为400至500GB，采用FP16精度进行推理，每个500GB规模的推理模型需要约1000GB显存支持。尽管如此，其推理成本较高，与DeepSeek论文中描述的数据相比性能弱20%-30%。未来将逐步引入FP8低精度训练以降低成本，目前相关工作仍处于推进阶段。

字节跳动为何选择推进低精度训练技术（如FP8），当前进展如何？

推进低精度训练技术是为了降低推理成本并提升工程效率。在此前阶段，由于字节更注重科研成果而非工程优化和降低成本，因此未优先投入资源开发低精度技术。然而随着市场需求变化以及DeepSeek等友商率先实现FP8应用后，字节意识到其重要性。目前已调配更多基础工程团队成员参与研发工作，预计1-2个月内可实现低精度训练阶段性成果。

字节跳动对于AI商业化方向上的策略是否有所调整？

在早期阶段，由于缺乏明确商业化路径且用量有限，字节对于AI项目预算控制相对宽松，更倾向科研导向。然而进入2025年后，公司发现AI产品存在一定市场需求，用量逐渐增长，

因此开始加强工程能力优化与成本管控，同时加速推动AI商业化落地。这种转变反映了公司从单纯追求科研成果到兼顾实际应用价值的发展策略调整。

当前阶段字节跳动在工程能力优化方面的主要考量是什么？

工程能力优化在此前并未被视为紧急事项，主要原因是业务体量较小。然而，随着市场环境的变化，例如DeepSeek的冲击以及市场对降本增效和库存回归的需求增加，公司内部对工程能力优化的诉求变得更加明确。例如，在推理优化和训练优化方面，以往这些工作仅被视为需要完成的任务，但并未上升到OKR层面的明确要求。当前，这些方向已逐渐成为公司内部关注重点。字节跳动并不缺乏工程师资源，因此具备推动相关工作的基础条件。

在模型技术迭代中，字节跳动如何应对长窗口多头注意力机制（LongContextMulti-HeadAttention）等技术挑战？

长窗口多头注意力机制在2024年Kimi发布时曾受到广泛关注，并被认为是许多公司难以实现的技术。然而，从实际情况来看，该技术并非不可实现。以字节跳动为例，其相关技术覆盖周期通常为两到三个月，即可完成升级点。因此，目前该领域已不再构成显著技术壁垒。

使用MUD（ModelUtilityDecrease）后算力需求降低是否会影响未来资本支出（Capex）规划？

算力需求降低不会显著影响资本支出规划。MOE和低精度计算主要作用于模型训练阶段，对算力需求有一定影响，但其重要性相对有限。目前更核心的问题在于模型商业化拓展受限，而非单纯降本问题。从2024年5月至今，模型商业化一直面临困难，关键原因是成本过高。例如，一个亿Token的价格约为70至80元，这一成本水平限制了用量扩展。因此，将Token价格降至约20至30元区间才是当前需要解决的问题。

模型参数与成本之间存在怎样的关系？如何通过参数调整实现竞争优势？

模型参数降低能够直接带来成本下降，同时促进用量增长。当模型价格下降后，可以通过扩大调用规模挤压竞争对手。对于字节来说，可以通过采购端和工程能力上的领先优势，将整体成本控制在较低水平，从而使部分三方厂商难以参与竞争。这种策略旨在提升用户规模和市场容量，而非追求短期毛利率提升。目前火山引擎公有云API收入体量较小，因此现阶段更注重规模扩张，而非毛利率优化。

DeepSeek等低精度计算方法对于文本模型训练及全局算力消耗有何具体影响？

DeepSeek所采用的FP8低精度计算方法确实能够降低文本模型训练成本，但其全局影响有限