全景图像拼接与漫游林晓泽.ppt

*鱼眼：圆形鱼眼、鼓形鱼眼*全景图像的拼接与漫游By林晓泽2010-12-06主要内容研究背景与意义全景图像拼接全景图像漫游（虎溪虚拟校园系统）总结项目依托：1科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”；2虎溪校区虚拟校园系统；3国家大学生创新基金。4意义5建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会）6相比三维建模，制作流程快，更真实，速度更快；7现有的全景拼接软件：版权，部分需要手工设置。8研究背景与意义全景图像拼接全景图像拼接的定义：全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360°水平视角的、完整的、清晰的新图像的技术。领域人物 RichardSzeliskiMicrosoftResearchDavidG.LoweUBCRichardSzeliski.ImageAlignmentandStitching:ATutorial.M.Brown,D.G.Lowe.RecognisingPanoramas.M.Brown,D.G.Lowe.AutomaticPanoramicImageStitchingusingInvariantFeatures.全景图像拼接--主要步骤01图像拍摄图像预处理图像配准图像融合输出全景图02步骤1：图像拍摄Whyisfisheye?图像数量短焦距，球面镜头，水平垂直视域1800拼接复杂度和运算时间Whatisfisheye?步骤2：图像预处理鱼眼图像的校正步骤3：图像配准图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。特征点的查找特征点的粗匹配匹配点的优化几何变换模型映射到同一基准面特征点的查找特征点的粗匹配匹配点的优化变换关系的求解同一基准面的映射二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。1图像配准-变换关系2图像配准-变换关系使用仿射变换作为几何变换模型。仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图：仿射变换6参数RANSAC(Randomsampleconsensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。Step1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2；Step2:设定一个阈值T，将满足d(Pi,HPj)T(d为欧式距离)的点确定为内点，其余的为外点，进入Step3；Step3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3；Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。RANSAC特征点匹配误匹配点(外点)H1H2H3H4如何投影？12413怎么办？选择一张图像作为基准面，将所有图像映射到面上。单击此处添加大标题内容存在俯仰变换的校正图人工校正3°俯仰变换6参数2参数步骤4：图像融合-线性融合重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从100%线性减少到0%，右图像像素对融合图像的亮度贡献率从0%线性增加到100%。阴影部分为重叠区域100%100%0%0%左图右图*鱼眼：圆形鱼眼、鼓形鱼眼*