电子稳像综述.PPT

特征匹配法 最近几年在一些基本特征点的基础上，出现了一些较新的算法，如SIFT (Scale Invariant Feature Transform)特征点、 SURF特征点、FAST （features from accelerated segment test）特征点， 关于这方面的算法研究也很火热，目前众多特征点提取方法中应用较多的有经典Harris角点、SIFT特征点、KLT算法，以及较新的FAST特征点。 SIFT和SURF 算法提取过程复杂， 计算量太大。稳像需要对视频图像 中的较大区域提取特征点， 而对较大区域提取SIFT和SURF特征点， 理论上耗时会很大。 图：FAST算法检测特征点效果 运动估计 介绍FAST算法对特征点的求取过程。在一幅图像中，判断像素p是否为特征点，可通过如下方法完成： (1) 设定阈值t; (2) 计算p 点像素值vP 与1 点像索值v1 差值m; (3) 计算p 点像素值vP 与9 点像素值v9 差值n; (4) 若m × n0时且|m | t 或| n | t 中至少有一个为真，则进行第5步，否则返回“ 假’ ： (5) 计算p点像索值vP 与5 点像素值v5 差值p; (6) 计算p点像素值vP 与13点像素值v13差值q; (7) 若满足|m | t, |n | t, |P | t , lql t中至少有3个为真，且m, n, p, q 在为真的表达式中，均同号，则进行第八步，否则返回“ 假＂ . (8) 依次计算其余12点的像索值与p 点像索值的差值，将得到的16个值按序排成－环形数组（1号与16号是相邻的）： (9) 若数组中存在连续12个或以上像素值与p点像素值相差超过阈值t，且像素差值均同号，则返回真，否则返回假。 总得来说，对一个像素值是否为特征点的判断，转化为了该点像素与其周围的16个点的像素值的大小比较，在这个环形的像素邻域里，当至少有连续四分之三的像素与该点像素存在明显差异时，该点为特征点，否则，该点为非特征点。 特征匹配法 运动估计 图：Fast算法提取特征点 特征匹配法 运动估计 FAST特征点容易出现局部小区域聚集现象，这在一定程度上降低了特征点匹配的精度，且多余的角点也会增加特征匹配的耗时，为了解决这个问题， 可以采用距离约束机制。 匹配算法： KLT匹配算法利用基于最优估计策略实现特征点之间的匹配， 采用图像灰度差的平方和(Sum of squared intensity Differences，SSD）作为特征点的匹配准则， 相对较简单、 耗时量少， 适用于电子稳像， 对提高电子稳像的实时性有很大的帮助。 图：特征点匹配连线图 运动估计 去除误匹配： 经KLT快速匹配算法的粗匹配， KLT匹配算法在实时性的优势下，精度相对其他匹配算法要好，但是任何匹配算法都难免存在误匹配。这些误匹配点一方面来源于匹配算法自身原因所导致的匹配错误，另一方面来源于视频帧中的存在局部运动的人体、物体以及风吹草 动，这些局部运动会对匹配结果造成干扰。如果不消除误匹配点，将会导致后续全局运动参 数计算错误，以至于稳像失败。基于此，本文对KLT匹配的结果进一步处理，采用RANSAC(RANdom Sample Consensus) 算法去除误匹配点，保证了最终得到正确的匹配点对，将这些正确的匹配点对带入六参数运动模型中计算出全局运动参数， 然后进行滤波和运动矢量补偿，就可以去除抖动分量， 最终输出稳定的视频。 运动估计 滤波： 在全局运动估计完成后，采用递归Kalman滤波进行运动参数滤波。 目的：去除短时图像波动，保留摄像机的主动运动，实现实时稳像。 应用Kalman滤波公式对(θ,△ x,△y)进行平滑滤波。这里(θ,△ x,△y)是当前帧对参考帧的变化，假设参考帧的位置为0 ,(△ x,△y)则可以看作是当前帧的绝对位移。 运动滤波 * 电子稳像综述 2016年3月 zgbupc@63.com 目录 ·电子稳像背景 ·稳像算法介绍 背 景 摄像机有时必须安装在有震动的环境中，必然存在机械震动，而且这些机械震动往往难以消除，机械震动会引起视频图像的抖动，尤其是在使用高倍放大的镜头情况下，轻微的机械震动都会引起图像的剧烈抖动，从而严重影响对视频的观察监视。 军事领域 公共安全 航空航天 稳像：消除视频图像的各种抖动。 光学稳像 电子稳像 机械式稳像 背 景 EIS（Electronic Image Stabilization） 电子稳像 电子稳像技术是一种对随机运动或抖动的摄像机所获取