图像拼接简介.ppt

图像拼接技术 演讲人：肖冲 研究背景： 图像拼接是将一组具有重叠区域的低分辨率或小视角图像，经过一定的处理技术，组合成一幅高分辨率、大视角的新图像，组合后的图像包含拼接前全部图像的所有信息。 因为相机的分辨率一定 ，拍摄的场景越大 ，得到的图像分 辨率就越低 ；为了在不降低图像分辨率的条件下获取超宽视角甚至 360度的全景 图，利用 计算机 进行 图像拼 接被 提出并 逐渐研究发展起 来。 应用： 图像拼接技术 已经成 为计算机 图形学的研究焦点 ，被广泛应用于空间探测 、遥感图像处理 、医学图像分析 、视频压缩和传输 、虚拟现实技术 、超分辨 率重构等领域 。 图像拼接流程： 图像配准 图像定位 捆绑调整 过渡区融合 图像 预处理 拼接图像 输出 图像预处理： 去噪：中值滤波、均值滤波 图像增强：直方图均衡化、对比度线性展宽、对数变换、指数变换、高通滤波 图像定位： 确定配准后图像在全景图上安放位置。 针对只在水平方向拼接的单行图像定位，只需要寻找每幅图像相邻关系即可，而水平和垂直方向同时拼接的多行图像定位，需首先判定每幅图像的相邻关系，然后根据相邻关系定位其位置。 图像匹配： 从输入图像中找出具有重叠区域的待拼接图像，即配对。 三个部分组成： （a）提取每幅图像的特征点； （b）对每个提取出来的特征点，在其他图像上寻找与其对应的特征点，即：寻找同一个物体在多幅图像上的成像点，称该成像点为匹配特征点对； （c）根据一定的规则去除错误的匹配特征点对，即特征点对提纯； 配准方法： 提到图像配准不得不说的两个关键概念： （1）相似性度量：利用合适的度量方法，找出相同物体成像于不同图像之间的像。通常是用图像特征的匹配来完成相似性度量，包括图像特征提取和图像特征匹配。 （2）图像变换：在获取图像的时候，不同成像设备、不同时间和不同视角都会使采集的图像间存在着几何视差，如果要进行图像拼接，就必须将这些图像间的几何视差消除掉，使它们变换到同一个坐标系下，包括匹配特征点对提纯和图像间几何变换矩阵求解。 图像特征提取： 图像特征，从数学角度讲，是将高维的整幅图像，降维后所得到的能以低维的形式描述图像的特征向量。 从图像处理角度讲，是图像中能表达我们“感兴趣”的部分。 最有效的两种算法： Harris 角点算法和 SIFT算法。 Harris 角点特征提取算法： 该方法使用图像灰度的一阶偏导来描述亮度变化，把亮度变化值大于给定阈值的点选为角点。 式中， I ( x , y )代表图像的灰度值， w( x , y )代表高斯滤波器，可近似为局部自相关函数。 它的泰勒展开形式为： M 代表目标像素点的自相关矩阵，是一个2x2的对称矩阵。 式中ＩＸ，ＩＹ 分别为图像ｘ，ｙ方向的梯度值。 设λ１、λ２是矩阵 Ｍ 的两个特征值， 则λ １、λ２可表示局部自相关函数的曲率． 通过对矩阵 Ｍ 的两特征值分析， 我们可大致对角点进行检测， 但实际运用来计算角点的响应函数为 式中，det为矩阵的行列式；r为矩阵 的 迹；k 根 据 实际情况取值0.001～0.06． 其判断标准为： 设定一个合理的阈值Ｔ， 当实际计算出来的Ｒ大于该阈值时，则表示找到了一个角点， 否则就不是． 提取出特征点后， 每幅图像的特征点有很多冗余，采用以特征点为中心的灰度窗归一化互相关来对特征点集合进行初步匹配计算， 减少差异较大的特征点对． 在此， 本文选择的窗口大小为10×10． 归一化互相关函数： ncc的值越大，表明两点是匹配点的可能性就越大。 除了ncc，还有ssd、sad等等算法