具身智能机器人机器人及夹爪硬件配置环境安装与运行.pptx

具身智能机器人机器人及夹爪硬件配置、环境安装与运行

1主要内容23UMI硬件配置UMI软件环境部署全流程DiffusionPolicy网络训练

1UMI硬件配置

UMI硬件配置4UMI1.协作机器人2.夹爪3.视觉相机4.上位机

协作机器人5UR5协作机器人

末端执行器6大寰二指夹爪PGI-140-80完整组合亿佰特工业级RS485/232转以太网串口服务器模块

视觉相机7Goprohero9鱼眼镜头扩展接口电池及充电器完整组合MicroHDMI转HDMI转接线绿巨能HDMI视频采集卡microsd卡

上位机8推理（部署使用）训练1.只需可以安装环境并运行eval_real.py，无其它硬性要求；2.USB接口：连接相机；3.RJ45网口：连接机器人。1.显存要求至少24G；2.增加配置只是增加训练速度，对效果无影响；3.可租用云服务器。3DconnexionSpaceMouseWireless无线3D鼠标

2UMI软件环境部署全流程

1.机器人配置10使用UR5示教器获取机器人IP地址：打开eval_robots_config.yaml配置文件，更新robot_ip；设置负载参数，在UR5示教器上，进入InstallationPayload菜单；设置质量（mass）为1.81kg设置重心（centerofgravity,CoG）为(2,-6,37)mm，分别对应X、Y和Z轴的坐标评估脚本（evalscript）将自动设置TCP（工具中心点），因此无需手动设置。

TCP标定11TCP，又叫工具中心点。机器人出厂设定的TCP在J6轴法兰正中心;tcp校准其实就是通过多次测量计算出工具顶点相对于工具法兰盘的位置;TCP的设置方法有三种：1三点法2六点法3直接输入法

2.夹爪配置12获取夹爪IP地址：打开eval_robots_config.yaml配置文件，更新gripper_ip；更改wsg_binary_driver和wsg_controller。

3.相机配置13安装GoProLabs硬件；解压拷贝至microSD卡插入相机即可

3.相机配置14设置日期和时间（推荐使用App）；扫描QR码。

相机内参标定15相机内参（IntrinsicParameters）：内参是描述相机内部属性的参数，包括焦距、主点（光学中心）坐标、畸变系数等。内参通常在相机标定时确定，因为它们通常对于特定相机型号是固定的，不随时间变化。相机外参（ExtrinsicParameters）：外参是描述相机在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量。外参在不同的相机位置或拍摄时刻可能会发生变化。?针孔相机投影模型

相机内参标定16使用OpenImuCameraCalibrator（openicc）标定相机内参得到gopro_intrinsics_2_7k.json拉取dockerimagedockerpullchicheng/openicc:latest运行dockercontainer，将标定数据集拷贝至相同文件夹sudodockerrun-it--rm-v/home/yejiangchen/Downloads/GoPro9:/datasetchicheng/openicc:latest运行标定程序cd/OpenImuCameraCalibratorpython3python/run_gopro_calibration.py--path_to_build/OpenImuCameraCalibrator/build/applications/--image_downsample_factor=2--camera_model=FISHEYE--checker_size_m=0.0246--path_calib_dataset/dataset/dataset3/

相机内参标定—数据采集17将标定板.pdf打印到A4纸上，贴在坚硬物体上（如墙面），测量黑色方块的尺寸（以米为单位）（如0.021m）；录制3个视频：1.首先是校准相机，缓慢地绕着板子移动，不希望运动模糊或滚动快门影响结果，录制约20-30秒；2.将GoPro放在地板或桌子上，然后按下录制按钮，将其放置在那里10-20秒，不要触碰它，此视频将用于估计当前的IMU偏差；3.最后录制一段视频。再次录制标定板，确保光照条件良好；运动所有3个轴-3个平移和3个旋转；移动快，但不要太快（运动模糊）；确保标定板大部分可见；创建以下文件夹结构：

UMI实现方法：演示接口设计及策略接口