机械设备行业点评：从英伟达的布局看机器人的大模型和训练.pdf

年年0088月月0066日日

内容目录

算法、数据和执行器是具身智能的三要素，英伟达平台可用于仿真训练3

英伟达GR00T项目旨在构建人形机器人的通用大模型4

大语言模型到分层端到端模型，人形机器人的“大脑”智能度提高迅速6

人形机器人训练三大痛点：数据缺乏、成本高、成功率低8

GR00T项目有重大突破，可大幅降低人形机器人训练成本11

风险提示13

图表目录

图表1：具身智能三要素3

图表2：英伟达GR00T项目4

图表3：NVIDIAIsaacLab5

图表4：IsaacROSonJetsonThor5

图表5：LLM在机器人上的应用6

图表6：tesla一代机器人收集数据靠人类教学7

图表7：MobileALOHA视频教学7

图表8：当前大模型数据严重不足8

图表9：Figure01简单执行任务不会卡壳9

图表10：tesla机器人精准扶正电池9

图表11：银河通用机器人打开柜门9

图表12：银河通用创始人王鹤提出的三层级大模型架构10

图表13：研究人员利用AppleVisionPro采集数据11

图表14：初步收集数据后的训练路径11

图表15：在仿真中改变场景的视觉外观和布局让机器人训练11

图表16：MidgenMIM工作路径12

图表17：英伟达人形机器人领域应用扩展实现路径12

P.2请仔细阅读本报告末页声明

年年0088月月0066日日

算法、数据和执行器是具身智能的三要素，英伟达平台可用于

仿真训练

具身智能的三要素主要是算法、数据和执行器，三者相辅相成。具身智能的思想自人工

智能出现之初便紧紧伴随，具身智能通常具有两种形式：1）聚焦抽象的所需的智能，如

AlphaGo聚焦于下棋；2）第二条路径则是为机器配备好各类最好的传感器、执行器，使

其贴合人类且可以和人类进行交流互动，人形机器人是具身智能的一种体现方式，也是

适合在这个世界行走和与人类交互的形式。人形机器人这种具身智能的三要素工作方式

通常是：机器人接收到任务后，大模型驱动执行器及其各种传感器动作规划出运动路径

和计算出相应数据，数据再反馈至大模型验证到最精确的数据。英伟达的AI平台可以做

除硬件开发以外的数据训练、算法等，是人形机器人制造厂商可用的利器。

图表1：具身智能三要素

资料来源：国盛证券研究所绘制

P.3请仔细阅读本报告末页声明

年年0088月月0066日日

英伟达GR00T项目旨在构建人形机器人的通用大模型

GR00T本质上是为众多人形机器人提供的一个AI平台，其中包括波士顿动力、Figure

AI和小鹏等公司。英伟达在2024年GTC大会上发布了人形机器人项目GR00T，旨在

开发人形机器人的通用基础模型，该模型将多模式指令和过去的交互作为输入并输出机

器人动作。这种先进的模型是模块化的，具有用于高级推理和规划以及低级快速、准确

和反应性运动的系统。GR00T项目使用了NVIDIA三台计算机机器人堆栈的所有部分，