移动增强现实系统的设计与应用案例解析.PDF

移动增强现实系统的设计 与应用案例解析 章国锋 浙江大学CADCG国家重点实验室 内容 • 整体框架设计 • 应用案例解析 整体框架 • 整体框架 • 输入数据 • IMU、图像数据、深度数据、时间戳、校正数据 • 三维注册 • SLAM、物体识别与跟踪、三维重建 • 虚实融合 • 光照估计、真实感绘制、遮挡处理、阴影投射 整体框架 整体框架-输入数据 • IMU数据 • Time stamp • Acceleration • Angular velocity • 图像数据 深度数据 • Time stamp • Exposure time • RGB • Depth 整体框架-输入数据 • 校正数据： • Camera校正参数(Pinhole Model) • Projection: fx, fy, cx, cy • Distortion: k1, k2, k3, k4 • IMU校正参数 • Bias, Scale, Misalignment • Noise, Bias noise • 外参 • Rotation, Translation • Time offset 整体框架-三维注册与重建 • SLAM • 设备相对于场景的位姿 • 物体的识别与跟踪 • 物体注册 • 三维重建 • 物体三维重建 • 场景三维重建 三维注册-SLAM • 相机跟踪 • 包括特征提取与匹配，以及相机位姿估计 • 为了实时性，特征跟踪一般放在前台线程 • 有可靠的IMU数据 • 直接通过积分得到位姿 • 特征提取与匹配可以放到后台线程执行，以相对 较低的频率(如10Hz)矫正IMU和相机的状态。 三维注册-SLAM • 地图创建和更新 • 加入新的关键帧或删除旧的关键帧 • 优化关键帧的位姿和地图点的三维 • 三角化出新的三维点云 • 保证比较频繁、快速的地图优化 • 局部优化：滑动窗口：优化当前帧相邻关键帧和三维点 • 全局优化：更好地消除累积误差 • 在线删除关键帧和三维点，避免系统资源开销太大 两图来自：/ethz-asl/maplab 三维注册-SLAM • 回路检测和闭合 • 检测当前帧的图像是不是跟之前的某一帧图像（一般 是关键帧）存在相同的内容 • 词袋技术：需要字典树文件（比较大，几十到上百M）， 移动 App 开发难以接受。 • 在线建词汇树或KD-Tree的方式 • 检测到回路之后，通过集束调整或位姿图优化来消除 误差累积，实现回路的闭合。 左图来自：/2013/08/23/bag-of-words-models-for-visual-categorization/ 右图来自：Grisetti G, Stachniss C, Burgard W. Nonlinear constraint network optimization for efficient map learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2009, 10(3): 428-439. 三维注册-SLAM • 重定位 • 跟踪难免会失败，当跟踪失败之后需要快速地