Lec15计算机视觉.ppt

* 根据贝叶斯公式，图像正确匹配的后验概率为 当后验概率 时认为两幅图像正确匹配。 * p1和p0分别为图像匹配和不匹配时特征点为内点的概率 * 等价于当下面不等式成立时，两幅图像正确匹配： 给定参数：p1=0.6，p0=0.1，p(m=1)=10-6，pmin=0.999，上述判定条件可以简化为： * 使用匹配验证条件剔除掉错误匹配图像对后，可以获得图像匹配的连接集，即判断输入图像可以分成几幅全景图。 * * 误差函数定义为所有图像中所有匹配点的变换误差平方和： 其中I(i)表示所有与图像i匹配的图像，F(i,j)表示图像i与图像j中的特征匹配点集合，h()为Huber误差函数(Huber, 1981) 在优化循环初期使用σ=∞，在后期使用σ=2。 * 误差函数ε的自变量包含每个相机的焦距和旋转矩阵，共4n个参数（n为图像数量），是一个非线性最小二乘问题，使用Levenberg-Marquardt (LM)算法对其进行求解。 * 在上一步骤中，我们已经计算了每个相机的参数（焦距f和姿态R），下面需要考虑如何把它们拼接起来。 平面坐标：最简单的拼接方法是将某一副图像作为参考图像（如图像i），通过Hij=KiRiRj-1Kj-1 (j=1,…,n)计算单应，并将图像j (j=1,…,n)都转到图像i所在平面完成拼接。 * 平面坐标拼接在源图像和目标图像间旋转角度较大时，图像会被严重拉伸，影响拼接效果。 * 解决图像过度拉伸问题的方法是将图像变换到一个圆柱面上，这个圆柱中轴线通过相机光心，底面为单位圆。 * 柱面坐标：使用柱面坐标系进行拼接时，每个图像点变换为圆柱面上一点：I(u,v)→I(θ,h)→I(u’,v’) 柱面坐标适合纯水平方向旋转的全景图拼接，如果在竖直方向也有旋转，则可能导致竖直方向旋转角大的图像被过度拉伸。 * 解决竖直方向图像过度拉伸问题的方法是将图像变换到一个单位球面上，这个球的球心和相机光心重合。 * 球面坐标：使用球面坐标系进行拼接时，每个图像点变换为球面上一点：I(u,v)→I(θ,φ)→I(u’,v’) 在后续步骤中，全景图的拼接均使用球面坐标。 * * 图像变换到球面坐标系时，根据球面坐标系主轴方向不同，最终获得的全景图会有很大不同。 因此，将图像变换到球面坐标系时需要确定合适的主轴方向，主轴方向与图像拍摄时的相机姿态直接相关。 * 全景图拍摄时，相机可能发生水平旋转、竖直旋转，但一般极少发生绕光轴旋转，因此相机X轴通常会保持在一个平面，这一平面的法向u可以作为一个理想的主轴方向。 * 我们期望得到的主轴方向u与所有图像坐标系X轴垂直，因此： 写成最小二乘形式： * 这是一个线性最小二乘问题，最优解u满足： U为3x3矩阵 最小特征值对应的特征向量。 以u作为主轴方向确定球面坐标系，根据相机参数将所有图像变换到球面上I(u,v)→I(θ,h)→I(u’,v’)，获得全景图。 * * 在前面的步骤中已经确定了全景图拼接的几何结构参数（相机焦距、相机姿态、全景图坐标），已经可以将图像拼接为全景图像，但这样直接拼接时可能产生光度不一致的现象。 * Photometric consistency 为保证拼接后重叠区域的光度一致性，需要对每幅图像进行增益补偿。 * 为使全景图全局光度一致，我们在所有图像上定义全局光度误差函数： n为图像数量，gi为第i幅图像的增益，Nij为图像i和j重叠区域像素数量， 为图像i在图像i与j重叠区域的亮度均值，σN为归一化光度误差方差（设为10），σg为增益方差（设为0.1）。 最小化e(.)是一个二次优化问题，可通过超定线性方程组求得最优增益g1～gn * * 由于光晕、光心移动、配准误差、镜头畸变等因素的影响，即使经过增益补偿后，全景图中任然可能存在某些光度不一致的区域，需要进一步进行修正。 图像重叠区域可能包含多幅图像，一种有效的光度修正方式是将重叠区域像素用多幅图像进行加权融合。 * 令Ii(u,v)表示第i幅图像上的像素点(u,v)，Wi (u,v)=ω(u) ω(v)表示像素点(u,v)的融合权重，ω(.)的值在图像中心为1，在图像边缘为0，中心和边缘之间线性递减。 将Ii(u,v)和Wi (u,v)均转换到球面坐标系Ii(θ,φ)和Wi (θ,φ)，则全景图像中每一个像素点可以通过下式进行光度融合： * * 首先将每个像素点的初始融合权重设为如下形式： 对于第i幅图像上的像素点(θ,φ)，只有当它与图像i的中心距离比其他图像都小时权重才为1，否则权重为0 * 定义频段图和频段权重如下： Biσ为频段图，Wiσ为频段权重，