语义SLAM介绍-必威体育精装版02.pdfVIP

语义SLA M在无人系统中的应用 What is SLAM ? Has it been solved? • 同时定位与地图构建 • 机器人感知系统的重要组成部分 ： • 估计机器人的实时状态 （position, orientation, velocity, sensor bias, calibration parameters, etc. ） • 为人机交互/路径规划提供支持 • 为估计机器人的实时状态提供误差约束 • 应用 ：无人驾驶 、无人机 、虚拟现实 、增强现实 SLAM中的挑战 • SLAM 过去30年已经取得长足进步 ，是不是问题已经完全解决了？ • 在某些限定 机器人/交互环境/配套参数 组合下SLAM技术已经非常成熟 ，但在以下问题中 仍然任重道远 ： • 机器人状态快速变换 （如高速运动和旋转 ） • 高动态场景 • etc. • SLAM的未来任务 ： • 如何获得更鲁棒的性能 • 如何通过SLAM获取high-level的信息 • 如何在其他限定组合下解决新的SLAM问题 深度学习与SLAM的结合概述 （一） 深度学习在计算机视觉检测、分类等问题中近年来提升极大，也改变了今时今日SLAM的研 究现状。可以体现在以下两个方面： • Online and Life-long learning 代表作Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue 深度学习与SLAM的结合概述 （二） • Semantic Bootstrapping 这部分是本次talk的重点 ，将详细展开 Semantic Bootstrapping 核心思想 ： • SLAM helps Semantic • Semantic helps SLAM • Joint resolution Semantic Bootstrapping • 代表作Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving Semantic Bootstrapping • 代表作Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving Semantic Bootstrapping • 代表作CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models Semantic Bootstrapping • 代表作CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models Semantic Bootstrapping 其它代表作 • Probabilistic Data Association for Semantic SLAM, ICRA 2017 best paper • Long-term Visual Localization using Semantically Segmented Images, 无人车语义信 息辅助定位 • DeepVO • DynaSLAM: Tracking, Mapping and Inpaiting in Dynamic Scenes • etc SFM: Structure from Motion Unsupervised Learning of Depth and Ego-motion from Video SFM: Structure from Motion SfM-Net: Learning of Structure and Motion from Video 结合深度学习的闭环检测 • 闭环检测是SLAM中的关键模块 ，目的是减少构建环境地图时的累积误差 • 传统的基于appearance的方法大多采用人工设计的特征 • 由于深度神经网络强大的泛化拟合能力 ，可以更有效地从原始数据中学习特征 ，闭环检测 是深度学习提升SLAM的关键模块 结合深度学习的闭环检测 （视觉类） 代表作Loop closure detection for visual SLAM using PCANet features