第十一章节 深度图.docVIP

第十一章 深度图 获取场景中各点相对于摄像机的距离是计算机视觉系统的重要任务之一.场景中各点相对于摄像机的距离可以用深度图（depth map)来表示，即深度图中的每一个象素值表示场景中某一点与摄像机之间的距离.机器视觉系统获取场景深度图技术可分为被动测距传感和主动测距传感两大类.被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数（即灰度图像），然后在这些图像的基础上恢复场景的深度信息.最一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图.与此方法相类似的另一种方法是一个摄像机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成像几何来牛成深度图.深度信息还可以使用灰度图像的明暗特征、纹理特征、运动特征间接地估算，主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量.主动测距传感系统也称为测距成像系统（rangefinder).雷达測距系统和三角测距系统是两种最常用的两种主动测距传感系统.因此，主动测距传感和被动测距传感的主要区别在于视觉系统是否是通过增收自身发射的能量来测距.另外，我们还接触过两个概念：主动视觉和被动视觉.主动视觉是一种理论框架，与主动测距传感完全是两回事.主动视觉主要是研究通过主动地控制摄像机位置、方向、焦距、缩放、光圈、聚散度等参数，或广义地说，通过视觉和行为的结合来获得稳定的、实时的感知.我们将在最后一节介绍主动视觉. 11.1 立体成像 最基本的双目立体几何关系如图11.1(a)所示，它是由两个完全相同的摄像机构成， 两个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，且x轴重合，摄像机之间在x方向上的间距为基线距离在这个模型中，场景中同一个特征点在两个摄像机图像平面上的成像位置是不同的.我们将场景中同一点在两个不同图像中的投影点称为共轭对,其中的一个投影点是另一个投影点的对应(correspondence),求共轭对就是求解对应性问题,两幅图像重叠时的共轭对之间的位置之差（共轭对点之间的距离）称差（disparity） ;通过两个摄像机中心和场景特征点的平面称为外极（epipolar）平面，外极平面面的交线称为外极线；同一图像平面上的所有外极线交于一点，该点称为外极点. 在图11.1中，场景点P在左、右图像平面中的投影点分为P1和P2.不失一般性，假设坐标系原点与左透镜中心重合.比较相似三角形PMC1和P1LC1,可得到下式 同理,从相似三角形PMC1和P1LC1,可得到下式 其中F是焦距,B是基线距离。 因此，各种场景点的深度恢复可以通过计算视差来实现。注意，由于数字图像的离散特性，视差值是一个整数，在实际中，可以使用一些特殊算法使视差计算精度达到子象素级。因此，对于一组给定的摄像机参数，提高场景点深度计算精度的有效途径是增长基线距离B，即增大场景点对应的视差，然而这种大角度立体方法也带来了一些问题，主要的问题有 随着基线距离的增加，两个摄像机的共同的可视范围减小； 场景点对应的视差值增大，则有哪些信誉好的足球投注网站对应点的范围增大，出现多义性的机会就增大； 由于透视投影引起的变形导致两个摄像机获取的两幅图像中不完全相同，这就给确定共轭对带来了困难。 在图11.1中，左(右）图像中的每个特征点都位于右（左）图像中相同标号的行中，即外极线与图像行重合.在实际中，两条外极线不一定完全与图像行重合，即垂直视差不为零.但为了简单起见,双目立体算法中的许多算法都假设垂直视差为零. 在实际应用中经常遇到的情况是两个摄像机的光轴不平行，比如，在某些系统中，调节两个摄像机的位置和姿态，使得它们的光轴在空间中相交在某一点，如图11.2所示，在这种情况下,视差与光轴交角有关.对于任意一个光轴交角，在空间中总存在一个视差为零的表面.比这一表面远的物体，其视差大于零；反之，比这一表面近的物体，其视差小于零.因此，在一个空间区域中，其视差可被划分为三组： 这三组视差可用于解决匹配不确定问题。 立体成像的最一般情况是一个运动摄像机连续获取场景图像，形成立体图像序列，或间隔一定距离的两个摄像机同时获取场景图像，形成立体图像对.图11.3所示的是处于任意位置和方位的两个摄像机，对应于某一场景点的两个图像点位于外极线上.这两幅图像也可以是一个摄像机由一点运动到另一点获取这两幅图像.即使两个摄像机处于一般 的位置和方位时，对应场景点的两个图像点仍然位于图像平面和外极平面的交线（外极 线)上.由图不难看出，外极线没有对应图像的某一行. 11.2 立体匹配 立体成像系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即能够求解对应问题.然而，对于实际的立体图像对，求解对应问題极富有挑战性，可以说是立体视觉最困难的一步.为了求解对应