智能机器人原理与应用 课件 第13--15章 家庭智能空间服务机器人日常工具功用性认知、 家庭智能服务机器人杂乱环境中推抓技能学习、 室内环境自适应智能商用服务机器人系统.pptx

智能机器人原理与应用

;13家庭智能空间服务机器人日常工具功用性认知;13.1家庭日常工具的功用性部件检测系统框架;1)特征描述

表13.1中列出了不同功用性模型所选取的特征及其维度。这里，不同功用性边缘检测选用的特征不尽相同，选取依据是该特征对表征该功用性区域边缘有效且显著。;步骤1由训练数据集中的深度图像计算各通道特征值，在各个特征通道中采用滑动窗口机制随机提取一定数量的特征块及标记图中相应的标记块，分别加入特征集和标记集。

步骤2对所有标记块进行主成分分析，判定其对应样本为正样本或负样本。

步骤3随机选择特征参与构建决策树。

步骤4利用样本集构建决策树。在每个分裂节点处，从特征中随机选择维特征作为样本集分裂阈值，选取对应信息增益最大的特征值为该节点阈值，相应的输入样本集被分裂成两个子样本集作为子节点的输入。

步骤5在样本集分裂过程中，当输入样本集取得的最大信息增益小于预设值或样本个数不超过8个时停止分裂，这个节点就成为叶子节点，所有样本停止分裂。

步骤6分析步骤5中叶子节点的输入样本集所对应标记集，得到标记块作为此叶子节点的内容，所有样本都到达叶子节点则此决策树构建完成，不需要剪枝。

步骤7从步骤1到步骤6重复8次，生成8棵决策树组合形成一个SRF，即为该种功用性边缘检测模型。

步骤8重复以上步骤，训练其它功用性边缘检测模型，将7种功用性边缘检测模型联合构成工具部件功用性边缘检测器。;13.2功用性部件检测模型离线训练;与训练工具部件功用性边缘检测模型方式类似，功用性检测模型同样基于结构随机森林离线学习得到，且训练数据集由RGB-D图像和标记图像组成，训练样本包含特征集和标记集两部分。与训练功用性边缘检测模型的标记图像不同，训练功用性检测模型的标记图像是对整个功用性区域做标记，目的在于对整个功用性区域进行检测。

算法输入为由特征集和标记集共同组成的样本集，输出为工具部件功用性检测器。由于功用性检测模型与功用性边缘检测模型都是基于结构随机森林构建，其SRF学习过程相同，这里不再赘述。在完成7种功用性检测???型的训练后，将其联合起来构成工具部件功用性检测器。;如前所述，每种功用性分别对应一个功用性边缘检测模型，同样地，针对不同的边缘检测模型选取不同的coarse-to-fine阈值，其算法描述如下：

输入：训练数据集中的幅RGB-D图像。

输出：阈值。

步骤1利用功用性边缘检测器依次对幅图像进行某种功用性的边缘检测得到其概率图，在一系列阈值(取值从0到1，每次增量为0.01)下获取目标区域。

步骤2用工具部件功用性检测器对步骤1得到的区域进行功用性检测。

步骤3对步骤2的检测结果进行评估，取m幅图像评估平均值记为，这样得到不同阈值的对应关系，取最大值所对应的阈值即为此种功用性区域检测的阈值。

步骤4重复步骤1到步骤3，完成其它功用性区域检测的阈值选取。;12.3工具功用性部件在线检测;13.4工具功用性部件实验;13.4工具功用性部件实验;13.4工具功用性部件实验;13.4工具功用性部件实验;13.4工具功用性部件实验;北京信息科技大学自动化学院;北京信息科技大学自动化学院;14家庭智能服务机器人杂乱环境中推抓技能学习;14.1家庭智能空间服务机器人操作技能框架;模型泛化与迁移学习密切相关，用于从源任务转移知识来提高目标任务的性能。然而，强化学习与监督学习不同的是，将源任务上预先训练的模型进行微调以适应目标任务往往是无益的。因此，本小节构建了一种随机卷积网络来增强GARL-DQN算法的泛化能力。

算法具体如下：

引入一个随机网络，将其先验参数进行初始化，对强化学习模型的初始状态用网络层进行处理并将处理后的结果输入到卷积神经网络中。在每一轮迭代后，该卷积神经网络都会重新初始化网络的权重，使其可以在有噪声的特征空间上学习。

;为了实现推抓之间的协同，在训练环境中，机器人通过RGB-D相机采集到当前时刻的图像状态信息，分别经过视觉特征提取网络与随机卷积网络提取特征，作为抓取网络算法的输入。该算法是异策略算法，将目标策略与行为策略分开训练，在保证探索的同时求得全局最优解。

将面向目标的抓取网络表示为，在训练场景中随机指定目标物体并将抓取奖励表示为,的定义方式如下：

;本章将推动动作作为抓取动作的辅助动作，目标为减小目标物体周围的“空间占有率”。但本文的目标为减少机器人的总运动次数，故应尽可能地降低推动动作的频率。考虑到机器人推抓之间的相互作用复杂且耦合度较高，故将基于目标的推动网络作为生成器，使得动作价值函数不断逼近抓取网络学习到的阈值，由抓取网络作为判别器来判断当前状态是否适合抓取。;本节给