机械设备行业点评：从英伟达的布局看机器人的大模型和训练.docx

内容目录

法、数据和执行器是具身智能的三要，英伟达平 可用于仿真训练 3

英伟达GR00T项目旨在构建人形机器人的 用大模型 4

大语言模型到分层端到端模型，人形机器人的“大脑”智能度难高迅 6

人形机器人训练三大 点：数据缺乏、成本高、成功率低 8

GR00T项目有重大破，可大幅降低人形机器人训练成本 11

风险难示 13

表目录

表1：具身智能三要 3

表2：英伟达GR00T项目 4

表3：NVIDIAIsaacLab 5

表4：IsaacROSonJetsonThor 5

表5：LLM在机器人上的应用 6

表6：tesla一代机器人收集数据靠人类教学 7

表7：MobileALOHA视频教学 7

表8：当前大模型数据严重不足 8

表9：Figure01简单执行任务不会卡壳 9

表10：tesla机器人精准扶正电池 9

表11：银河用机器人打开柜门 9

表12：银河用创始人王鹤难出的三层级大模型架构 10

表13：研究人员利用AppleVisionPro采集数据 11

表14：初步收集数据后的训练路径 11

表15：在仿真中改变场景的视觉 观和布局让机器人训练 11

表16：MidgenMIM工作路径 12

表17：英伟达人形机器人领域应用扩展实现路径 12

算法、数据和执行器是具身智能的三要素，英伟达平台可用于仿真训练

图表1：具身智能三要素

具身智能的三要素主要是算法、数据和执行器，三者相辅相成。具身智能的思想自人工智能出现之初便紧紧伴随，具身智能通常具有两种形式：1）聚焦抽象的所需的智能，如

AlphaGo聚焦于下棋；2）第二条路径则是为机器配备好各类最好的传感器、执行器，使其贴合人类且可以和人类进行交流互动，人形机器人是具身智能的一种体现方式，也是适合在这个世界行走和与人类交互的形式。人形机器人这种具身智能的三要素工作方式通常是：机器人接收到任务后，大模型驱动执行器及其各种传感器动作规划出运动路径和计算出相应数据，数据再反馈至大模型验证到最精确的数据。英伟达的AI平台可以做除硬件开发以外的数据训练、算法等，是人形机器人制造厂商可用的利器。

资料来源：绘制

英伟达GR00T项目旨在构建人形机器人的通用大模型

GR00T本质上是为众多人形机器人提供的一个AI平台，其中包括波士顿动力、FigureAI和小鹏等公司。英伟达在2024年GTC大会上发布了人形机器人项目GR00T，旨在开发人形机器人的通用基础模型，该模型将多模式指令和过去的交互作为输入并输出机

器人动作。这种先进的模型是模块化的，具有用于高级推理和规划以及低级快速、准确和反应性运动的系统。GR00T项目使用了NVIDIA三台计算机机器人堆栈的所有部分，其中包括用于训练模型的NVIDIAAI和DGX?、用于强化学习的NVIDIAIsaac?Lab，以及用于加速机器人运行时间的NVIDIAJetson?Thor和IsaacROS。

图表2：英伟达GR00T项目

资料来源：NVIDIA，

NVIDIADGX：NVIDIADGXCloud是一个面向开发人员的端到端的AI平台，也是英伟达推出的一项云计算服务，旨在为用户提供高性能计算资源，特别是针对深度学习和AI应用，该服务主要是基于英伟的DGC系列超级计算机，且这些超级计算机具备强

大的GPU和深度学习加速器，能够迅速进行负责的计算任务。

NVIDIAIsaacLab：基于NVIDIAOmniverse?平台构建，该平台专门针对机器人学习进行了优化，对于机器人基础模型训练至关重要。它针对强化、模仿和迁移学习进行了优化，能够训练所有类型的机器人实例。

IsaacROSonJetsonThor：NVIDIAIsaacROS是一组加速计算包和AI模型，旨在简化和加快高级AI机器人应用程序的开发。每一款Jetson系列都是一个完整的系统

模组（SOM），Jetson系列是面向人形机器人开发的解决方案，满足各种应用的性能和预算需求，这套方案中不仅仅有高性能、高度集成的芯片（系统芯片包含基于NVIDIABlackwell架构的下一代GPU，并配备变压器引擎，提供800万亿次浮点AI性能，可运行GR00T等多模态生成式AI模型）平台，还有丰富的配套资源。

图表3：NVIDIAIsaacLab 图表4：IsaacROSonJetsonThor

资料来源：NVIDIA， 资料来源：NVIDIA，

大语言模型到分层端到端模型，人形机器人的“大脑”智能度提高迅速

分层端