基于图像的建模和绘制ImageBasedModelingandRendering（IBMR）.ppt

第5章 基于图像的建模和绘制 第5章 基于图像的建模和绘制(Image-Based Modeling and Rendering )（IBMR） 计算机科学系 2009，5 主要内容 5.1 简介 5.2 图像变换 5.3 立体视觉理论 5.4 基于图像的建模技术 5.5 基于图像的绘制 5.1 简介 VR对传统计算机图形学的挑战 高质量的、实时的图像生成 高分辨率的显示 宽视角的立体显示器 HMD要求两个显示器显示的内容有视差 自然的交互 要求图形绘制能准确地反映观察者所处的位置和视线方向 5.1 简介 计算机成像技术 Computer Imagery VR中最根本和关键的核心问题 传统图形学方法 利用透视投影原理将三维几何模型变换到二维屏幕空间的过程，主要的计算有：裁剪、投影、光照、消隐、纹理、阴影等 VR需求 立体图像是VR系统具有沉浸感的前提 左右眼图像 5.1 简介 IBMR 硬件无法满足传统图形学的图像生成 20世纪90年代中期兴起基于图像的建模和绘制技术 是计算机图形学和计算机视觉相结合的产物 使用计算机图形学的思想构造虚拟场景 使用计算机视觉技术从已知的图象中生成新的图象。 5.1 简介 相关学科 计算机图形学 如何由几何模型绘制出图像 计算机视觉 如何从场景图像中重建场景几何 图像处理 对图像进行加工处理 5.1 简介 相关学科 IBMR 在图形学和计算机视觉中搭起一座桥梁 5.1 简介 基于几何的建模和绘制 20世纪80年代初期，三维图形研究核心是真实感图形生成 方法：首先建立三维几何模型、设置视点位置，然后经明暗处理（shading）、隐藏面消除（hidden surface removal）等过程生成图像 问题：建模和绘制的开销非常大 建模的复杂性 物体表面的三维点构建多边形网格（一般是三角形网格） 如故宫：外观亭台楼阁，室内布置的独具匠心 5.1 简介 基于几何的建模和绘制（续） 绘制的速度 主要指生成一帧图像所需要的时间 受制于图形生成的硬件及场景的复杂性 “相片真实感（photo –realism）”：意味着只要绘制方法的复杂性和环境的复杂性超过主流硬件的发展，就会导致图像生成时间的增加 5.1 简介 基于图像的建模和绘制 利用图像数据作为输入来建模和绘制 图像数据的作用 从图像数据中抽取出三维信息，重构三维几何模型 以图像作为输入，进行图像的视图重构 IBMR 用预先获得的一组图像（合成的或者真实的）来表示场景的形状和外观，新图像的合成则是通过适当地组合原有图像来实现 5.1 简介 基于图像的建模和绘制 优点 建模容易：拍照容易，照片反映细节精细。把不同视线方向、不同位置的照片组织起来表示以表示场景，如全景图像（panoramic image）和光场（light field） 绘制速度快：直接从已有视图生成新视图。只要根据不同的视线方向映射全景图像的相应部分 真实感强：真实反映景物的形状、明暗、材质及纹理细节 交互性好：当然是视觉方面，但触/力觉较差 5.1 简介 比较 5.1 简介 IBMR模型分类 基于立体视觉的方法 利用立体视觉技术从图像中合成新视点的图像 基于视图插值的方法 新视图由参考图像插值产生 基于拼图和分层的方法 将场景中的图像组合成较多的图像，称为拼图（mosaic） 将场景分解成独立的、由仿射运动模型描述的不同层次，各层的子画面被组合到显示器上 5.1 简介 IBMR模型分类（续） 基于全视函数的方法 全视函数(plenoptic function)，描述空间中任意点(x, y, z)在任意时刻(t)、任意视角(φ,θ)、任意波长(λ)范围内看到的全部光线集合 基于全视函数的IBMR方法视图捕获空间任意区域内的完全光流以重建该函数 实践中每一时刻，每一方向对场景中所有点度量是很困难的 目前的方法是离散采样来重构连续的全视函数 主要内容 5.1 简介 5.2 图像变换 5.3 立体视觉理论 5.4 基于图像的建模技术 5.5 基于图像的绘制 5.2 图像变换 图像操作 像素处理 针对像素亮度和颜色值的操作，如图像增强、平滑 图像变换 针对像素空间坐标的操作 一般有仿射变换和透射变换 多应用于实时视频、图像校正和电影的变形特技等 5.2 图像变换 前向映射(forward mapping) 原图像中像素(u, v)映射到目标图像的像素(x, y) 表示 问题 u，v是整数，但x，y可能是实数 导致“空洞”和“重叠”现象 多个输入像素映射到同一输出像素，出现“重叠”。如图像缩小 两个相邻的输入像素映射到不相邻的两个输出像素，出现“空洞”，如图像放大 5.2 图像变换 逆