增强现实技术(第五章)37.pptx

第五章 三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合;增强显示案例：中联重科增强现实.mp4 （1’28’’) ;5.1 虚实融合原理;增强现实系统必须能够实时地检测出观测者(或摄像机)相对于真实场景的位置和方向角，以及成像系统(摄像机)的内部参数(焦距和成像屏幕大小等)。 根据这些信息实时确定所要添加的虚拟信息在投影系统中的大小、方向和映射位置。 在用户看来，无论从任何角度观察，都应该使虚拟物??与真实场景保持三维欧氏空间的几何一致性。这就是AR中的三维注册(Registration)所要完成的任务。;实现虚实融合的关键技术，是相机标定与三维注册技术，通过精准的相机标定与三维注册，使虚拟物体可以与真实世界进行无缝融合。 在真实世界中人为地设定世界坐标系的原点、X坐标、y坐标、Z坐标，并测量出多个标志点的三维坐标值。 对摄像机摄取的图像进行视觉识别，找到各标志点在图像显示坐标系中的二维坐标值。 通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值，实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数。 识别出通过提取给定的一幅或多幅图像的特征点来计算摄像机在真实世界的相对位置和方向，根据这些信息实时确定系统中要添加的虚拟物体在真实环境中的正确位置。 使用基于计算机视觉的相机标定技术对标识进行识别，实现系统中的三维注册。 三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数和外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来。 相机的外部参数作为输出结果输入到虚实融合子模块，用DirectX或openGL中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。 将三维的虚拟动画模型渲染到特定的标识物上，实现增强现实的效果。;根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。 通过虚拟相机对三维虚拟场景进行变换。 （1）将变换后的虚拟场景的影像叠加到实际场景的影像中，实现虚实融合。将虚实融合后的图像通过头盔或投影机显示出来，观察者看到的是虚实融合后的场景。 （2）将三维的虚拟动画贴图渲染到真实世界的标识物上，实现增强现实的效果。 如：“别克汽车十城市巡展潘多拉项目.MOV” ;第五章 三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合;5.2 相机标定技术;四个坐标系的关系;四个坐标系的关系;世界坐标系与摄像机坐标系的关系;成像平面坐标系与摄像机坐标系的关系;成像平面坐标系与图像显示坐标系的关系;综合以上三个关系式，得 ;P称为投影矩阵，含有五个未知数，反映相机的内部参数： f，即相机的焦距，单位是毫米， Sx即水平方向上的图像尺度因子，单位是像素/毫米 Sy即垂直方向上的图像尺度因子，单位是像素/毫米 (u。，v。)表示图像屏幕中心点像素所处的行数和列数。 D称为旋转平移矩阵，六个未知数，反映相机的外部参数： R含有的三个旋转角 t含有的世界坐标系原点在相机坐标系中的坐标值;当相机选定后，内部参数不变。 当相机的位置和角度固定后，外部参数不变。 根据若干已知二维点与其对应三维点的坐标值，求解P矩阵和D矩阵中含有的11个未知数，从而确定摄像机的内部参数和外部参数。 ;上述含有P、D的矩阵关系可以改写为：;将第3式代入1、2式：;当选择多于6个特征点时，就会有多组解。这些解有一定误差，但应该误差不大 对每个求得的系数算均值，再用各系数误差的平方和最小的一组解作为最佳的一组解。 ;第五章 三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合;在增强现实系统中，经过图像分割、边缘检测和轮廓提取之后，我们就可以把以上步骤的结果用于标识识别子模块 根据模式匹配算法，使系统从摄像机的视频图像中正确的识别出预先设计好的标识，同时给出标识的ID号码，作为系统中图形显示子模块输入参数的一部分，以使得图形显示子模块将预先设计好的三维模型正确的显示在特定的标记上，实现对真实环境的增强。 标识分为两类，一类是人工设定好的标识，一类是场景中自然具备的。 人工设定好的标识一般由具有一定宽度的黑色封闭的矩形框和内部的各种图形或