电子行业AI的进击时刻系列13：英伟达GTC大会开幕，走向代理式AI物理AI时代.docx

目录索引

一、英伟达：走向代理式AI物理AI时代 6

二、AI模型与应用 15

（一）AI模型 15

（二）AI应用 20

三、投资建议 21

四、风险提示 21

图表索引

图1：AI时代演变 6

图2：scalinglaw 6

图3：CSP厂商NVIDIAGPU采购量 7

图4：数据中心资本支出预测 7

图5：CUDAX 7

图6：推理需综合考虑吞吐量和响应时间 8

图7：NVIDIADynamo 8

图8：Blackwell搭载Dynamo后性能提升 8

图9：Blackwell推理性能 8

图10：BlackwellUltraNVL72 9

图11：VeraRubinNVL144 9

图12：VeraRubinUltraNVL576 9

图13：NVIDIABlackwellSystem 10

图14：NVIDIARubinSystem 10

图15：RubinGPU参数对比 10

图16：英伟达CPOPhotonicSwitch 11

图17：NVIDIAPhotonic 11

图18：NVIDIA交换机推出时间 11

图19：英伟达RoadMap 12

图20：DGXSpark和DGXStation 13

图21：英伟达与通用汽车 13

图22：英伟达Halos 13

图23：机器人基础模型GROOTN1 14

图24：机器人模拟用开源、物理引擎Newton 14

图25：GPT模型结构 15

图26：MOE模型 15

图27：GPT-3的完整工作流程 15

图28：训练scalinglaw 17

图29：推理scalinglaw 17

图30：大语言模型公开学术榜单 19

图31：多模态模型公开学术榜单 19

图32：大模型对硬件系统需求多样性 19

图33：AI应用APP访问量 20

图34：AI应用web访问量 20

表1：GPT-3.5模型参数符号 16

表2：GPT-3.5模型参数组成 16

表3：scalinglaw解释 16

表4：模型训练的并行策略 18

表5：OpenAI主要模型信息表 18

表6：AI终端进展 20

一、英伟达：走向代理式AI物理AI时代

2025年3月19日，英伟达CEO黄仁勋在2025年GTC大会上发表主题演讲。黄仁勋表示，AI已经从最初的感知式AI，发展至生成式AI，将进入代理式AI（AgenticAI）和物理AI（PhysicalAI）的时代。

图1：AI时代演变

数据来源：NVIDIA官网，

对于scalinglaw的发展，将会遵从（1）预训练扩展、（2）后训练扩展、（3）测试时间扩展，即“长思维”链的演进过程。黄仁勋表示，“AI的scalinglaw更具弹性，且实际上速度在超快提高（hyper-accelerated）。”

图2：scalinglaw

数据来源：NVIDIA官网，

对于日益增长的计算需求，黄仁勋表示，2024年美国前四大CSP厂商购买了130万块英伟达的Hopper架构芯片，2025年，预计将购买360万Blackwell架构芯片。同时，预计到2028年，建设数据中心的资本支出将超过1万亿美元。

图3：CSP厂商NVIDIAGPU采购量 图4：数据中心资本支出预测

数据来源：NVIDIA官网， 数据来源：NVIDIA官网，

GTC大会上，黄仁勋展示了英伟达与应用于各行业各学科AI加速的CUDA-X库，包括天文学、粒子物理学、量子物理学、汽车、航空航天和半导体设计等领域。

图5：CUDAX

数据来源：NVIDIA官网，

针对ReasoningModel（思维连模型）的推理，相较于传统的大语言模型，每个人工智能模型都会生成数以万计的token，用于在每次提示时“思考”，对于算力和token数都提出了更高的要求。

在推理过程中，数据中心需要兼顾总输出量（tokenspersecondforfactory）和快速响应（tokenspersecondforoneuser）。在大量GPU中高效编排和协调AI推理请求对于确保AI工厂以最低成本运行以最大化token收入至关重要。

为此，推理过程中常使用多种并行策略，以获得大吞吐量和低延时。英伟达推出了分布式推理服务库NVIDIADynamo，分解推理过程中的prefill和decode阶段，动态

调整GPU在两个流程中的分配，用于解决无法提供足够用户所需token的问题，以获得更好的经济效益。