基于双目视觉的三维重建教学幻灯片.ppt

基于双目视觉图像的三维重建 人机交互课程 1.引言 2.基于图像的三维重建 2.1 摄像机标定 2.2特征抽取与特征匹配 2.3三维空间点定位 2.4表面几何建模 2.5纹理映射 3.三维重建效果与应用 主要内容 我们看到的世界是三维的。人机交互中 计算机视觉方面的研究目的就是为了赋予计算 机以人类的视觉认知功能， 使计算机具有通过二维图像 认知三维世界的能力。 1、引言 三维信息获取的技术手段通常分三种： 第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构 造三维模型； 第二种：人们通过仪器设备直接获取三维信息； 第三种：利用图像或者视频来重建三维模型； 最后一种基于图像的三维建模方法，通过对物体实拍的图像序列或者图像对来恢复出物体模型。根据重建算法的复杂性，建模过程也越来越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需的设备只需要一个普通的相机，适用于任何场景的重构。 基于图像的三维重建常见算法： 基于平面的三维重建； 基于深度图的三维重建； 基于轮廓线的三维重建； 基于立体视觉的三维重建； 2、基于图像的三维重建 图 基于立体视觉的三维重建 基于立体视觉的三维重建流程 原始图像 摄像机 基础矩阵 摄像机标定 特征点 特征点对 特征匹配 特征点检测 对极线约束 空间点定位 点云模型 表面几何重建 可见外壳 纹理映射 三维模型 2.1摄像机标定 2.1.1定义与几何意义 (1)定义：从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。 对图像坐标系，如图，原点 定义为摄像机光轴与图像平面的交点。若 在u，v坐标系中的坐标为 ，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在坐标系下的坐标有如下关系： 写为齐次坐标形式 图 图像坐标系 o 写成齐次坐标形式为 （3）两种摄像机模型a、小孔成像模型 写成齐次坐标形式为 o f b、中心透视投影模型 对于世界坐标系中的点进行变换，其过程包括两个部分：一个是变换部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移矩阵t来描述。因此，空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是 与 ，于是存在如下关系： (4)世界坐标与摄像机坐标的关系 由以上推导的公式 (5)几何意义 最终得到 K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩阵。 所以，求投影矩阵P的过程则成为摄像机的标定。 2.1.2摄像机标定方法 由2.1.1中的推导，有图像像素坐标系 和世界坐标系的关系: 从公式上看，若求矩阵P，则应同时知 道空间中若干M点的坐标以及图像上对应点M1、M2 的坐标。 M M1 M2 通常，可以采用在摄像机取景范围内放置定标物体的方法进行摄像机定标，其中定标物体的三维形状是已知的，即定标物体上标识点(也称为参考点)相对于物体本身坐标系的三维坐标是已知的。 目前广为采用的定标物体是一块画有棋盘格 的平板（如图），只需要用摄像机从不同视角拍摄 这个平板，对每幅图像提取标识点(定标板上已经标 记好位置)，从而获得定标板标识点与图像标识点间 的对应关系，这样，对每幅图像就可以确定一个投 影矩阵P，从而完成摄像机标定。 2.2特征提取与特征匹配 2.2.1特征提取 特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的因素，用于特征匹配。在目前的特征提取算法中，经常采用的是区域特征、边缘特征和角点特征。 为空间点的定位重建，这里采取提取特征点。 图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算子等)，通过在图像上寻找该算子的极值来提取图像的特征点