仿射不变 最大极值稳定区域特征 MSER PPT.ppt

区域特征提取, MSER J.Matas. “Robust Wide Baseline Stereo from Maximally Stable Extremal Regions”,BMVC2002 使用区域特征表达图像的内容 应用：视角差异导致的几何形变 大视角下的图像特征匹配问题：同一场景中相同的物体内容，在大视角拍摄条件下，发生明显的几何形变 介绍：仿射不变区域特征 仿射不变区域特征：可以处理图像之间的仿射形变 形状不确定，相同物体的特征区域随视角变化而变化 特征区域可以在不同视角和光照下被稳定地检测到 前提条件 场景中物体局部表面可以近似为平面 透视产生的形变可以忽略 ? 区域特征之间的几何形变可以近似为“仿射变换” 一种区域特征提取方法MSER MSER = Maximally Stable Extremal Regions 目前业界认为是性能最好的仿射不变区域 MSER是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域 对于图像灰度的仿射变化具有不变性 稳定性，区域的支持集相对灰度变化稳定 可以检测不同精细程度的区域 MSER提取过程 使用一系列灰度阈值对图像进行二值化处理 对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域 在比较宽的灰度阈值范围内保持形状稳定的区域就是MSERs 评判标准： dA/dt A: 二值图像区域面积，t: 灰度阈值 MSER Maximally Stable Extremal Regions 提取极值区域 提取最稳定极值区域 使用椭圆形来近似图像区域 MSER例子 MSER椭圆表达 使用一个椭圆形代表MSER区域 可以将这个椭圆形进行归一化，使用圆形的区域进行表达 可以在圆形区域内使用SIFT描述子进行描述 构造仿射不变性区域 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences * Faculty of Electrical Engineering, Czech Technical University, Prague. 相同形状的窗口不能代表同样的场景内容！ 随视角变化的椭圆区域可以包含相同的图像内容? 使用区域来代表图像内容 J.Matas. “Robust Wide Baseline Stereo from Maximally Stable Extremal Regions”,BMVC2002 原始图像 暗区MSER（112个） 亮区MSER（105个） 待匹配的图像 分别提取仿射不变区域 用椭圆代表区域的形状 将椭圆归一化为单位圆 旋转对齐主方向， 灰度归一化 参考资料： K.Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir, L. Van Gool. “ A Comparison of Affine Region Detectors”, IJCV2005. J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust Wide baseline Stereo from Maximally Stable Extremal Regions. In Proc. of the British Machine Vision Conference, vol. 1, pages 384–393, 2002.