双目立体视觉幻灯片.ppt

双目立体视觉 一 双目视觉简介 双目立体视觉(Binocular Stereo Vision)是今年几何量测量研究中的重要领域，以测量物体的三维轮廓数据为目的，主要包括数据测量与数据后处理两部分，伴随着光电传感器件以及计算机视觉领域的日趋成熟，双目视觉技术应用领域不断拓展，目前主要应用于： 1 航空航天、汽车、船舶、模具等工业制品的逆向设计 2 产品质量检测 3 生物医学3D建模 4 电影特效制作与动漫建模 5 3D打印前期模型输入 二 设备组成 （1）相对位置固定的CCD两个 （2）线结构光发射器一个 （3）标定点若干 工作原理图 实物图片 三 工作原理及算法流程 双目视觉测量原理： 如图所示,假设空间中一点P在左、右相机中成像位置分别为pl(ul,vl)和pr(ur,vr）,且两相机坐标系间存在刚性变换关系R、T。  记P点在左右相机坐标系下坐标分别(xl，yl，zl)，(xr，yr，zr,)根据小孔成像模型 又根据左右目相机位置变换关系： 由此可计算出特征点P在左相机坐标系下的三维坐标为： 因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。 其中A=(ur-crx)/frx，B=(vr-cry)/fry，C =(ul-clx)/flx, D =(vl-cly)/fly;frx，fry，flx，fly分别为左右相机的归一化焦距,(clx,cly),(crx,cry)分别为左右相机图像中心像素坐标。 七个方程6个未知数，线性方程组可解，可得P在左目相机的相机坐标系下的坐标(xl，yl，zl) 双目视觉程序算法流程： 1．导入第一帧左右目图像 左目图像 右目图像 2.运用canny算法处理图像 左目处理结果 右目处理结果 3.筛选标定点，并利用“极限约束条件匹配”，然后利用双目视觉原理计算标定点的立体坐标，以后相邻两幅图像的立体标定点的坐标为以后计算相邻两帧图像的坐标系的变换关系，以便实现自定位的目的做准备。 左目处理结果 右目处理结果 4.对左目的图像进行二值化处理，选取亮度为255的点，然后选取被测物体上的光线的轮廓，以得到光线在被测物体上的像素坐标，并根据事先标定好的光平面在左目相机坐标系中的方程Z=A*X+B*Y+C，计算物体上被结构光打到的点，在当前左目相机坐标系下，的空间坐标。 二值化处理结果 物体上的光线轮廓 5.重复上述步骤，但处理第2帧到第n帧图像时，需要利用标定点的空间坐标，计算得到当前左目相机坐标系与第一帧左目相机坐标系之间的变换关系，然后将当前帧处理得到的物体上的点的坐标转化到第一帧左目相机坐标下的三维坐标。 四 关键技术（自定位原理） 自定位技术的实现原理： （1）标定点的精准匹配 标定点匹配时，如果仅仅利用极限约束条件，往往会出现左目中的一个标定点在右目中会有多个标定点满足约束条件！ 这时我们首先对所有的情况都把立体坐标计算出来，扫描图像时，相邻两帧图像之间运动很小，我们可以近似看作是平移运动，所以正确的标定点的位移一定是近似相等的，以此来排除进入约束条件的错误的标定点。 自定位技术的实现原理： （2）旋转矩阵R和平移矩阵T的计算 当我们得到了准确的相邻两帧图像对应的标定点的准确的运动信息之后，我们需要求解两个坐标系之间的刚体变换关系才能将数据统一对齐到一个坐标系中， 若我们得到了n对对应的标定点坐标，我们可以将其关系表示成如下形式： 其中p分别代表标定点在前后帧的空间坐标，R和T代表两个坐标系之间的最优刚体变换关系，N为测量噪声。