全景图像拼接与漫游 林晓泽.ppt

全景图像的拼接与漫游 By 林晓泽 2010-12-06 主要内容 研究背景与意义 全景图像拼接 全景图像漫游（虎溪虚拟校园系统） 总结 研究背景与意义 项目依托： 科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”； 虎溪校区虚拟校园系统； 国家大学生创新基金。 意义 建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会） 相比三维建模，制作流程快，更真实，速度更快； 现有的全景拼接软件：版权，部分需要手工设置。 全景图像拼接 全景图像拼接的定义： 全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360°水平视角的、完整的、清晰的新图像的技术 。 领域人物 Richard Szeliski Microsoft Research David G.Lowe UBC Richard Szeliski. Image Alignment and Stitching: A Tutorial. M.Brown,D.G.Lowe. Recognising Panoramas. M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features. 全景图像拼接--主要步骤 图像拍摄 图像预处理 图像配准 图像融合 输出全景图 步骤1：图像拍摄 What is fisheye? 短焦距，球面镜头，水平垂直视域1800 Why is fisheye? 图像数量 拼接复杂度和运算时间 步骤2：图像预处理 鱼眼图像的校正 步骤3：图像配准 图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。 特征点的查找 特征点的粗匹配 匹配点的优化 几何变换模型 映射到同一基准面 特征点的查找 特征点的粗匹配 匹配点的优化 变换关系的求解 同一基准面的映射 二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。 图像配准-变换关系 图像配准-变换关系 使用仿射变换作为几何变换模型。 仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图： 仿射变换 6参数 RANSAC RANSAC(Random sample consensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。 Step 1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2； Step 2:设定一个阈值T，将满足d( Pi,HPj )T(d为欧式距离)的点确定为内点，其余的为外点，进入Step3； Step 3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3； Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。 特征点匹配 误匹配点(外点) H1 H2 H3 H4 如何投影？ 1 2 4 1 3 怎么办？ 选择一张图像作为基准面，将所有图像映射到面上。 存在俯仰变换的校正图 人工校正3°俯仰变换 6参数 2参数 步骤4：图像融合-线性融合 重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从100%线性减少到0%，右图像像素对融合图像的亮度贡献率从0%线性增加到100%。 阴影部分为重叠区域 100% 100% 0% 0% 左图 右图 线性融合 重影现象 线性融合方法简单，但存在问题。 使用多段融合方法 解决办法 多段融合 多段融合算法是一种多尺度、多分辨率的图像融合方法。在不同尺度和空间分辨率上进行融合。 步骤1：建立图像的高斯金字塔 步骤2：由高斯金字塔建立图像的拉普拉斯金字塔 步骤3：对拉普拉斯金字塔的每层进行融合 步骤4：组合融合后的拉普拉斯金字塔 多段融合 高斯金字塔 1.第1层放大一倍得到图像A 2.第0层减去图像A，得到拉普拉斯金字塔第0层。 0 1 2 3 多段融合 拉普拉斯金字塔 亮度取平均 取亮度大的点，保持轮廓 0 1 2 3 多段融合 线性融合 多段融合 消除重影现象 全景图像漫游 虎溪虚拟校园系统（前台Flash+后台JSP） 全景浏览 建筑物（单位，办事指南） 导航（路线导航，新生导航） 测距 鹰眼 总结 SIFT特征点查找速度慢，消耗内存多。 图像变换模型的整体优化，目前效果还不是非常明显，有待改进。 全景漫游的扩展：视频，自动漫游等。 * 鱼眼：圆形鱼眼、鼓形鱼眼 * * 鱼眼：圆形鱼眼、鼓形鱼眼 *