具身智能机器人学习算法DEXIL详解.pptx

具身智能机器人学习算法DEXIL详解

1主要内容2Dexcap论文详解Dexcap代码详解

1Dexcap论文详解

Dexcap基本原理Abstract4从人类手部运动数据中进行模仿学习，是赋予机器人现实世界操作能力的一个有前景的途径。尽管其潜力巨大，但现有的手部运动捕捉系统的可移植性和将运动捕捉数据转化为有效控制策略的困难仍是重大挑战。为了解决这些问题，本文提出了一个便携的手部运动捕捉系统DEXCAP，以及一个新的模仿算法DEXIL，用于直接从人类手部运动捕捉数据中训练灵巧机器人的技能。DEXCAP基于SLAM和电磁场技术，结合环境的3D观察，实现了对手腕和手指动作的精准跟踪。通过丰富的数据集，DEXIL利用逆运动学和基于点云的模仿学习算法，帮助机器人复制人类手部动作。此外，DEXCAP还提供了一个“人在回路”纠错机制，可以通过人类操作进一步提升机器人的表现。通过六项灵巧操作任务的大量评估，本文的方法不仅展现了卓越的性能，还展示了该系统从非实验室环境中采集高质量数据的能力，为未来的灵巧操作数据收集方法奠定了基础。更多详情请访问：https://dex-cap.github.io。DEXCAP有助于收集高质量的人手动作捕捉数据和3D观察利用这些数据，DEXIL将其调整为机器人化身，并训练控制策略来执行相同的任务

UMI基本原理Introduction5我们应该如何展示复杂的操控技能，以便机器人能够学习现有方法的不足UMI框架：通过人类演示物理接口和策略接口解决上述问题UMI框架主要贡献：提供了一个实用且可访问的解决方案，能够在任何环境中展示各种动作，同时保持高效的技能转移

Dexcap基本原理Introduction6如何通过模仿学习（IL）使用机械手完成人类水平的动作现有方法的不足一种新型便携式人手动作捕捉系统DEXCAP一个模仿学习框架DEXIL1.DEXCAP:实时跟踪手腕和手指的动作，以实现灵巧的操作任务2.DEXIL:利用手部动作捕捉数据和点云观察，直接学习灵巧的操作技能3.人在环校正:人在环校正机制与DEXCAP，显著提高复杂任务中的机器人性能Dexacap框架主要贡献：

硬件系统1:便携式人手动作捕捉系统DexCap7DEXCAP系统的设计围绕着四个核心目标展开1.详细的手指运动跟踪：系统必须能够精确地捕捉到手指的复杂运动，特别是在执行灵巧操作任务时。2.精确的6自由度（6-DoF）手腕姿态估计：系统需要精确跟踪手腕在空间中的位置和姿态，涵盖六个自由度（位置的三维坐标和手腕的旋转角度），以确保手部操作的准确性。3.统一坐标系下的3D观测记录：系统要能够在一个与手部动作对齐的统一坐标系中，记录3D环境的观测信息，确保手部动作与环境信息能够在同一坐标框架下进行处理。4.出色的便携性：系统必须便于携带，能够在各种现实环境中进行数据采集，支持在野外或非实验室环境中的日常活动数据收集；5.零妥协的可扩展性：简单校准、低成本构建、高鲁棒性

硬件系统1:便携式人手动作捕捉系统DexCap81.详细的手指运动跟踪目标：准确跟踪操作任务中的手指动作技术：系统使用Rokoko动作捕捉手套，手套内嵌electromagneticfield（EMF）传感器。与视觉系统相比，它在处理遮挡问题时表现更好，后者在手与物体交互时常常出现遮挡问题工作机制：每个指尖都嵌有微型磁性传感器，信号接收器安装在手套背侧，通过测量从接收器到传感器的相对3D位移来确定优势：该系统能够避免手与物体交互时常见的视觉遮挡时的问题，确保在复杂场景下的鲁棒性

硬件系统1:便携式人手动作捕捉系统DexCap92.精确的6自由度（6-DoF）手腕姿态估计目标：追踪手腕（对应末端TCP）在空间中的位置和姿态，这对于机器人操作至关重要技术：系统采用SLAM（同时定位与建图）技术，通过安装在手套上的IntelRealsenseT265相机实现手腕的6-DoF跟踪,这些相机结合双目鱼眼镜头拍摄的图像与IMU（惯性测量单元）数据，生成环境地图，实现对手腕六自由度姿势的一致跟踪优势：便携性：相机无需依赖第三方摄像头，即可跟踪手腕姿态，确保手腕即使不在视线内也能准确捕捉；长时间精度：SLAM技术可以利用环境地图自动校正位置漂移，使得它在长时间数据采集中依然保持可靠；姿态信息：IMU提供了手腕的关键姿态信息，这对于后续训练机器人的操作策略非常重要

硬件系统1:便携式人手动作捕捉系统DexCap103.3D环境观测与校准目标：在数据采集过程中，不仅捕捉手部运动，还要记录3D环境观测，以训练机器人操作策略（视觉模态）技术：设计了可穿戴的相机背心，其中搭载了一个安装在胸部的IntelRealsenseL515RGB-DL