机器人视觉技术及应用教学课件（共8章）第7章 3D机器视觉技术与深度学习.pptxVIP

;了解3D视觉技术行业应用和发展趋势 掌握3D视觉技术主要测量方法和各自特性 掌握算法平台深度学习工具的使用 ;3D视觉技术基本原理;1;1.1 3D视觉技术的兴起;1.1 3D视觉技术的兴起;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;1.2 基本原理;目前，一个完整的ToF系统组成如下图： 它和传统RGB摄像头的组成结构基本相似。它与点单的ToF系统比较区别在于，测量范???不是一个点，它是一个面，因此，接收模块变成了点阵的光敏传感器，通常使用的是CMOS传感器。在传感器前面、和发射二极管前面多了光学镜片，一个是为了红外波的辐射范围、一个是为了滤除850nm以外的光线，就是说，要保证进入传感器的光线只是850nm的，这样才能保证测量的准确度。;从上述四种主流的3D测量技术来看，其优点和缺点都很明显，没有单独一种技术可以适用于所有的三维测量场景，从实际应用来看，双目与结构光在人脸识别，拆码垛定位，静态尺寸测量等应用上最为广泛。激光三角法因其适用于高速动态场景的特点，在流水线场景下的三维测量独占鳌头。而ToF其高鲁棒性的特点，主要应用于距离估计、视觉导航和动态识别/跟踪。 如今随着三维测量技术的发展，四种方案也开始有相互融合的趋势，如结构光+双目等类型的方案逐渐丰富，相互之间取长补短，适用的场景也不断增多。下图为四种测量方法之间的横向对比。;2;净距离、视场、测量范围等是认识和理解立体相机的基本摄像指标，了解它有助于相机的选型和架设。 测量范围Measurement Range (MR) 传感器在深度方向的测量范围。如果目标超出了该区域，将无法获得有效三维数据。 净距离Clearance Distance (CD) 传感器的最近工作距，如果目标与传感器之间的距离小于该值，将无法获得三维数据。 视场Field of View（FOV） 近视场：传感器最近工作距离（CD）对应的视野大小。 远视场：传感器最远工作距离（CD + MR）对应的视野大小。 扫描帧率Frame Rate（FR） 扫描帧率是传感器在单位时间内获取的三维数据数量，单位为FPS（Frames Per Second）。;分辨率表示能够通过成像系统分辨的物体的最小特征尺寸。 双目/结构光/TOF立体相机的X/Y方向分辨率是指位于视野范围中某一确定高度位置，各数据点沿X/Y方向的水平间距，即在X-Y平面的最小横向/纵向测量精度。此规格取决于位于该高度位置的FOV大小和所使用的摄像机Sensor像素数。 线激光立体相机的X轴分辨率是沿激光线方向的单像素精度，Y轴分辨率定义为运行方向的轮廓间隔，取决于被测物与相机的相对速度和扫描帧率。;Z方向分辨率指示各点处可检测的最小高度差。该精度由相机架构（基线距或视野范围）和图像处理算法（是否采用亚像素）决定。视野范围内离传感器越近的位置，Z方向分辨率越高。;立体相机的输出和测量距离成正比，两者的关系表示出来几乎是一条直线，但其与理想的直线相比依然存在微小的偏差，Z方向线性度指传感器输出与测量距离之比与理想直线的偏差范围。通常用满量程（F.S.）的百分比表示。;Z方向重复精度是在整个测量范围内，对同一目标区域进行反复测量，测量结果的最大偏差值。Z方向重复精度指标体现了设备的测量稳定性能。;通过3D相机扫描后得出的被测物表面三维坐标点的集合称为点云。点云的格式包括*.ply、*.pts、 *.asc、 *.dat、 *.stl 、*.imw、*.xyz等格式。;3;鉴于不同技术方案都有其适用的场景，立体相机的选型讲究的原则为“先看用途，再看场景，终评精度”，合适的立体相机在方案中可以起到事半功倍的效果。从用途上来进行划分，三维视觉方案主要应用在两个方向：测量，定位。从场景上来划分主要为：动态（指物体在拍摄过程中始终处于运??状态，如平移、旋转），静态（指物体在拍摄过程中处于静止或者慢速平移运动）。依据这两个维度，选择合适的立体相机方案，最终依据测量精度和视野范围的要求选择合适的系统即可。;轮廓仪：MV-DP090-02B基于激光三角测量原理，通过硬件内置的高精度算法，实时输出高帧率、微米级精度的3D点云数据或深度数据。该传感器结构紧凑、集成度高、操作便捷，广泛适用于 3C 、电子制造等行业中的动态3D 信息获取应用。;线激光立体相机：MV-DL2040-04B-H和MV-DL2025-04H-H是海康机器人智能线激光立体相机，内置高精度测量算法，结合宽动态算法优化策略，更精准的输出物流、仓储应用中的尺寸信息，动态范围更宽，鲁棒