2019slam暑期学校课件视觉slam.pdf

视觉SLAM 章 浙江大学CADCG 重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶、航空航天 SLAM常用的传感器 • 红外传感器：较近距离感应，常用于扫地机器人。 • 激光雷达、深度传感器。 • 摄像头：单目、双目、多目。 • 惯性传感器 （英文叫IMU，包括陀螺仪、加速度计）：智能手机标配。 激光雷达 常见的单目摄像头 普通手机摄像头也可作为传感器 双目摄像头 微软Kinect彩色-深度（RGBD ）传感器 手机上的惯性传感器（IMU） SLAM的运行结果 • 设备根据传感器的 • 计算自身位置 （在空间中的位置和朝向） • 构建环境地图 （稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM 视觉SLAM系统常用的框架 前台线程 视频流 •SLAM初始化 输入传感器 •特征跟踪与位姿实 输出设备实时位 数据 时求解 姿和三维点云 线程 进行局部或全局优 化，减少误差累积 场景回路检测 场景重定位 初始化 SfM ◼有时需要处理相机内参未知的情况，采用自定 标等技术来估计出相机内参 SLAM ◼相机内参通常会预先标定好 ，固定不变 ◼单目SLAM初始化与SfM在相机内参已知情况 下较类似（如Nistér的五点法[Nistér，2004] 来做初始化） ◼双目或者多目SLAM的初始化较为简单 单目SLAM初始化 需求解的三维点和相机位姿相互依赖 ◼三角化三维点：需要相对位姿 ◼相对位姿：需要场景三维点 流程 ◼根据两帧间2D-2D的特征匹配估计相机初始位姿 ◼三角化出匹配的特征点的三维位置 ◼使用3D-2D的方法对这些特征点进行跟踪匹配，并求解 相机运动 单目SLAM初始化的常见策略 PTAM：需要用户指定两个关键帧 ORB-SLAM ：自动选取两帧，同时估计单应性矩阵（平 面场景）和基础矩阵，选其中一个用于初始化 RKSLAM： ◼单帧初始化， 相机正对着一个距离固定的平面，并 使用了常数的深度来初始化三维坐标 ◼根据已知尺寸标志物来估计初始平面深度 PTAM初始化 RKSLAM基于Marker初始化 多目SLAM初始化 优势 ◼ 预先标定多个同步相机之间的相对位姿变换 ◼ 三维 可以通过多相机视图进行特征匹配并三角化来获得 ◼ 相机运动直接通过3D-2D的方法求解 实例 ◼ 双目SLAM ：通过双目立体匹配（Stereo Matching）获得左右 视图上的匹配点的视差 ，利用相似三角形来计算得到三维点坐标 ◼ 多目SLAM ：初始化过程跟双目SLAM类似，无非是在更多的相 机视图之间进行特征匹配并三角化出特征点的三维坐标 双目立体匹配