多工件分拣方法讲解.pptx

多工件分拣方法讲解

课程目标

处理原理

处理步骤

目录

课程

目标

课程目标

物流中心每天接收成百上千家供应商或货主通过各种运输工具送来的成千上万种商品，在最短的时间内将这些商品卸下并按商品品种、货主、储位或发送地点进行快速准确地分类，将这些商品运送到指定地点（如指定的货架、加工区域、出货站台等），同时，当供应商或货主通知物流中心按配送指示发货时，自动分拣系统在最短的时间内从庞大的高层货存架存储系统中准确找到要出库的商品所在位置，并按所需数量出库，将从不同储位上取出的不同数量的商品按配送地点的不同运送到不同的理货区域或配送站台集中，以便装车配送。本案例将会对工件进行类型的检测与距离的计算。

处理原理

为什么图像二值化

图像二值化（ImageBinarization）就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。

在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。

在Opencv中可使用cv2.threshold()函数进行阈值化处理。

怎么选择轮廓

处理原理

一个轮廓对应着一系列的点，这些点以某种方式表示图像中的一条曲线。在OpenCV中，

函数cv2.findContours()用于查找图像的轮廓，并能够根据参数返回特定表示方式的轮廓（曲线）。

函数cv2.drawContours()能够将查找到的轮廓绘制到图像上，该函数可以根据参数在图像上绘制

不同样式（实心/空心点，以及线条的不同粗细、颜色等）的轮廓，可以绘制全部轮廓也可以仅

绘制指定的轮廓。

如何寻找工件

处理原理

先通过寻找最大外接矩形并限制最大外接矩形大小寻找到对应工件，再描绘工件轮廓。

OpenCV提供了函数cv2.rectangle()用来绘制矩形。该函数的语法格式为：

img=cv2.rectangle(img,pt1,pt2,color[,thickness[,lineType]])

式中：

img：在其上面绘制图形的载体图像（绘图的容器载体，也称为画布、画板）。

color：绘制形状的颜色。通常使用BGR模型表示颜色，例如，(0,255,0)表示绿色。对

于灰度图像，只能传入灰度值。需要注意，颜色通道的顺序是BGR，而不是RGB。

thickness：线条的粗细。默认值是1，如果设置为-1，表示填充图形（即绘制的图形是

实心的）。

lineType：线条的类型，默认是8连接类型。lineType参数的值及说明如表19-1所示。

pt1为矩形顶点。

pt2为矩形中与pt1对角的顶点。

读取原图之后将彩色图像转换为单通道的灰度图像，将灰度图像进行二值化，然后按照设定好大小的值寻找最大外接矩形，再描绘工件轮廓；

计算双目相机采集到的图片从而获取深度信息；

最后将二者联立，获得工件的形状与位置。

实践与训练

实际步骤

处理原理

处理原理

测距流程：

StereoVision，也叫双目立体视觉，它的研究可以帮助我们更好的理解人类的双眼是如何进行深度感知的。双目视觉在许多领域得到了应用，例如城市三维重建、3D模型构建(如kinectfusion)、视角合成、3D跟踪、机器人导航(自动驾驶)、人类运动捕捉(MicrosoftKinect)等等。双目测距也属于双目立体视觉的一个应用领域，双目测距的基本原理主要是三角测量原理，即通过视差来判定物体的远近。

总结起来，双目测距的大致流程就是：

双目标定--立体校正（含消除畸变）--立体匹配--视差计算--深度计算/3D坐标计算

处理原理

畸变校正：

光线经过相机的光学系统往往不能按照理想的情况投射到传感器上，也就是会产生所谓的畸变。畸变有两种情况：一种是由透镜形状引起的畸变称之为径向畸变。在针孔模型中，一条直线投影到像素平面上还是一条直线。可是，在实际拍摄的照片中，摄像机的透镜往往使得真实环境中的一条直线在图片中变成了曲线。越靠近图像的边缘，这种现象越明显。由于实际加工制作的透镜往往是中心对称的，这使得不规则的畸变通常径向对称。它们主要分为两大类，桶形畸变和枕形畸变（摘自《SLAM十四讲》）如图所示：

实践与训练

处理原理

那么消除畸变的方法就是：

1.将三维空间点投影到归一化图像平面。设它的归一化坐标为[x,y]T

2.对归一化平面上的点进行径向畸变和切向畸变纠正。

3.将纠正后的点通过内参数矩阵投影到像素平面，得到该点在图像上的正确位置

实践与训练

处理原理

立体校正：

立体校正的目的是将拍摄于同一场景的左右两个视图进行数学上的投影变换，使得两个