机器人视觉伺服定位控制及目标抓取.ppt

深度学习简介（插入） 人脑视觉机理 深度学习简介（插入） 关于特征 深度学习简介（插入） 特征表示的粒度 深度学习简介（插入） 初级（浅层）特征表示 深度学习简介（插入） 结构性特征表示 深度学习简介（插入） 需要有多少个特征 深度学习简介（插入） Deep Learning的基本思想 深度学习简介（插入） Deep learning训练过程 深度学习简介（插入） Deep learning训练过程 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 深度学习简介（插入） Deep Learning的常用模型或者方法 三 基于多模特征深度学习的机器人抓取判别 研究目标：给定一幅包含抓取物的场景图，以深度学习构建最优抓取判别模型，获取机器人最优的抓取位置。 为k维图像特征的抽象表达。 深度学习抓取位置判别问题描述 抓取模式g(t)的概率模型： 最优抓取判别模型： 为权重变量， 为特征集。 降噪自动编码网络权值初始化 编码输出： 解码输出： 代价函数： 降噪自动编码深度学习过程 三 基于多模特征深度学习的机器人抓取判别 编码器的输出是输入在不失信息量条件下的另一种表示形式，即输出是输入数据的重建。 多模特征深度学习 第n层输出层逻辑输出为： 隐含层输入输出为： 深度网络模型 三 基于多模特征深度学习的机器人抓取判别 多模特征深度学习抓取判别 第一阶段预训练 ：使用将噪编码无监督特征学习，初始化隐含层权重W和 偏置参数b。 第二阶段微调训练：采用误差反向传播法微调整个深度参数。 最优抓取判别模型 三 基于多模特征深度学习的机器人抓取判别 三 基于多模特征深度学习的机器人抓取判别 实验图像采集 采用Kinect深度摄像机采集抓取目标的RGB图像和深度图像。 RGB摄像头 3D深度传感器 抓取位置判别实验结果 三 基于多模特征深度学习的机器人抓取判别 针对不同形状，大小、摆放方向的测试目标，抓取判别试验结果如图所示。 判别模型参照人的抓取习惯，即矩形盒抓中间、杯子抓杯柄、盘子抓边缘、工具抓把柄，机器人在面临新的抓取目标时，同样能够实现抓取判别 三 基于多模特征深度学习的机器人抓取判别 机器人抓取定位实验结果 不同物体实验结果 相同物体不同摆放方向实验结果 视觉伺服控制策略 四 基于视觉伺服的机器人定位控制 视觉伺服：把视觉传感信号嵌入到机器人的伺服循环中，通过对视觉特 征的控制，实现对机器人的定位闭环控制。 优 越 性：简化了机器人控制系统的设计，伺服任务可灵活定义，控制器 形式多样，更能满足不同场合需求。 视觉伺服控制系统之间映射关系 视觉伺服控制策略 机器人视觉伺服系统的初始状态：机器人工作空间中，机器人末端A远离抓取目标B；在图像空间中，通过控制图像特征A与图像特征B重合，使得机器人接近目标位置。 四 基于视觉伺服的机器人定位控制 视觉伺服控制策略 机器人视觉伺服系统的定位状态：图像空间中，图像特征A与图像特征B已经重合；机器人工作空间中，机器人成功抓取目标。 四 基于视觉伺服的机器人定位控制 基于位置的视觉伺服（PBVS） PBVS是指视觉反馈控制信号直接在3D任务空间中以笛卡尔坐标形式定义，其基本原理是，结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后控制系统根据机械手当前位姿与估计出的目标位姿之间的差分信息，进行轨迹规划并计算出控制量。 五 机器人视觉伺服研究现状 期望位姿 估计位姿 基于图像的视觉伺服(IBVS) 基于图像的视觉伺服是指误差信号直接用图像特征来定义，无