机器人控制课程设计实验报告.pdfVIP

桌面级机械臂颜色分拣系统

一实验目的

1.熟悉ubuntu虚拟机的运用；

2.实现识别视野范围内特定色块的位置；

3.实现机械臂对所识别物块的抓取。

二实验内容

该实验为利用机械臂实现有色物块的识别以及抓取，具体包含了以下内容：

（1）相机标定。在相机标定上，采用棋盘格标定法标定内参，采用

Aruco获得其内置的RT矩阵从而进行相机外参的标定；机械臂标定，虽

然机械臂拥有固定笛的卡尔坐标系，且现实中世界笛卡尔坐标系和机械臂笛卡尔

坐标系具有可测性，最终通过人工测量的方式实现机械臂的标定。

（2）完成图像像素的计算。设计一种基于OpenCV的有像计算

方法：使用HSV颜色空间，通过本研究在OpenCV和ROS下对图像进行并对

符合预设颜色的物象进行二值化处理，使用最小矩形抓取轮廓的方法，找到图像

轮廓，最终根据图像轮廓的左上角和右下角坐标的平均值可得物块得像素点

坐标。

（3）实现机械臂分拣操作。通过坐标变换，将像素坐标系下的坐标转移

到相机坐标系下，相机坐标系已发布在TF树，对该坐标系进行TF空间中的

坐标变换，实现有色物块坐标从像素坐标系到机械臂基座坐标系的坐标变换，

获得机械臂基座坐标系下的物件坐标。

三实验过程

3.1实验流程图

3.2使用USB_CAM打开USB单目相机

ROS对于图像处理和计算机视觉提供了机标定过程、畸变矫色

等其它一些底层操作，更复杂的图像处理任务可以借助OpenCV、cv_bridge和

Image_transport库通过建立连接，订阅和发布图像进行交互，另外还提供

了物体识别、增强现实、视觉里程计等算能包。

（1）ROS下USB相机驱动

首先，使用指令安装usb_cam驱动包：

gitclone

安装完毕后显示如下页面：

（2）编译功能包usb_cam

利用指令ls/dev/*查看设备号。

将usb_cam功能包置入已有的工作空间catkin_ws的/src文件夹中，再

使用指令对文件重新进行编译。

$cd~/catkin_ws/

$catkin_make

（3）启动相机节点

在终端中输入指令roscore启动所有的节点，，启用roslaunch指令执

行相机usb_cam-test.launch文件，打开相机。

$roslaunchusb_camusb_cam-test.launch

3.3相机内参标定

（1）相机标定原理

相机标定主要有四个坐标系：

世界坐标系：使用者定义的三维世界坐标系，用于描述目标在真实世界中的

位置，单位为m。

相机坐标系：以相机为建立的坐标系，用于描述目标在相机下的坐标位

置，作为沟通世界坐标系和图像/像素坐标系的中间一环，单位为m。

图像坐标系：该坐标系可用于描述目标在图像坐标系和相机系之间的投影关

系，可进一步计算相机坐标系到像素坐标系的变换，单位为m。