中科院计算机视觉特征匹配.pdf

计算机视觉—特征匹配 申抒含 中国科学院自动化研究所 模式识别国家重点实验室 计算机视觉课程结构图 图像 2.特征检测 3.特征匹配 4. 图像分割 5. 图像配准 6.运动估计 8-11.三维重建 7. 目标跟踪 12.识别 13.人脑工程 什么是特征匹配 上周课学习了如何检测好的特征 什么是特征匹配 有了特征以后如何确定它们在不同图像的对应关系？ 为什么要匹配特征 物体识别 D. Lowe, 2004 为什么要匹配特征 三维重建 Internet Photos (“Colosseum”) Reconstructed 3D cameras and points N. Snavely, 2006 为什么要匹配特征 Sony Aibo • Recognize charging station • Communicate with visual cards • Teach object recognition 特征匹配 有时候匹配是一件很简单的事 立体相机红外探针匹配 特征匹配 但大多数时候很复杂 特征匹配—基本思路 • 特征准确匹配的要求是待匹配特征对平移、2D/3D旋转、光 照、对比度、仿射变换等具有不变性。 • 这需要一个具有不变性的特征检测子： - Harris ：对平移、2D旋转、光照具有不变性； - SIFT：对平移、2D旋转、光照、3D旋转（约60度）、尺 度具有不变性； • 还需要一个具有不变性的特征描述子： - 描述子用来记录特征点周围的区域信息； - 描述子要有不变性：图像变化时描述子不变； 特征描述—基本思路 • 最简单的描述子：一个像素点，具有不变性吗？ • 对平移、旋转、仿射、尺度都有不变性； • 但对光照没有任何不变性。 特征描述—基本思路 • 另一个简单的描述子：以特征点为中心的一个小方窗区域， 具有不变性吗？ ≠ ≠ 特征描述—基本思路 • 另一个简单的描述子：以特征点为中心的一个小方窗区域， 具有不变性吗？ • 对平移、光照（灰度归一化）有不变性； • 但对旋转、尺度没有不变性。 特征描述—基本思路 • 我们需要更复杂的描述子： - MOPS - SIFT - PCA-SIFT - GLOH 特征描述—MOPS MOPS ：Multiscale Oriented PatcheS descriptor 在5层图像金字塔上检测Harris角点（上周课内容） 图中窗口表示了特征点方向和尺度 (Brown, Szeliski and Winder, 2005) 特征描述—MOPS 计算窗口主方向 以特征点处高斯平滑后的梯度 方向作为窗口的主方向 ： cos , sin =