全景图像拼接与漫游林晓泽.ppt

*鱼眼：圆形鱼眼、鼓形鱼眼*全景图像的拼接与漫游By林晓泽2010-12-06主要内容研究背景与意义全景图像拼接全景图像漫游（虎溪虚拟校园系统）总结研究背景与意义项目依托：1科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”；2虎溪校区虚拟校园系统；3国家大学生创新基金。4意义5建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会）6相比三维建模，制作流程快，更真实，速度更快；7现有的全景拼接软件：版权，部分需要手工设置。8全景图像拼接的定义：全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360°水平视角的、完整的、清晰的新图像的技术。RichardSzeliskiMicrosoftResearchDavidG.LoweUBCRichardSzeliski.ImageAlignmentandStitching:ATutorial.M.Brown,D.G.Lowe.RecognisingPanoramas.M.Brown,D.G.Lowe.AutomaticPanoramicImageStitchingusingInvariantFeatures.全景图像拼接--主要步骤图像拍摄图像预处理图像配准图像融合输出全景图步骤1：图像拍摄Whatisfisheye?短焦距，球面镜头，水平垂直视域1800Whyisfisheye?图像数量拼接复杂度和运算时间鱼眼图像的校正图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。特征点的查找特征点的粗匹配匹配点的优化几何变换模型映射到同一基准面特征点的查找特征点的粗匹配匹配点的优化变换关系的求解同一基准面的映射二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。使用仿射变换作为几何变换模型。仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图：仿射变换6参数RANSACStep3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3；RANSAC(Randomsampleconsensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。Step2:设定一个阈值T，将满足d(Pi,HPj)T(d为欧式距离)的点确定为内点，其余的为外点，进入Step3；Step1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2；Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。误匹配点(外点)H1H2H3H4如何投影？12413选择一张图像作为基准面，将所有图像映射到面上。怎么办？人工校正3°俯仰变换存在俯仰变换的校正图2参数6参数重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从100%线性减少到0%，右图像像素对融合图像的亮度贡献率从0%线性增加到100%。阴影部分为重叠区域100%100%0%0%左图右图*鱼眼：圆形鱼眼、鼓形鱼眼*