基于图像的绘制技术综述.doc

基于图像的绘制技术综述 摘要：基于图像的绘制技术（Image-based Rendering，IBR）近年来引起广泛的关注，目前的基于图像的绘制技术（IBR）可以根据他们依赖场景几何信息的程度分为三类：无几何信息的IBR 绘制、部分几何信息的IBR 绘制和全部几何信息的IBR 绘制。通过对三类技术特征及其数学描述的讨论，从中得出结论：在IBR 技术中图像和几何信息的双重应用表明IBR 和传统的基于三维几何的图形学可以统一成一个有机整体。1 引言由于基于图像的绘制技术（Image-Based Rendering）在从电影特效（TheMatrix）到大场景虚拟漫游、远程现实等方面的广泛应用，其发展非常迅速，相继出现了一系列高效的技术方法。和传统的基于模型的绘制相比，基于图像的绘制有如下的优点：图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；预先存储的图像(或环境映照) 既可以是计算机合成的，也可以是实际拍摄的画面，两者也可以混合使用；算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。本文把IBR 技术分成无几何信息的绘制、基于部分几何信息的绘制和基于完全几何信息的绘制三类[1]。由于各种绘制技术和方法是相互关联的统一体，而不是完全彼此脱离的，所以分类界限并不是十分的严格，如图1 示。从近几年研究的侧重点和成果显示来看，目前越来越多的研究集中于图像和几何信息之间相结合的方法，这样能使绘制效果更加完美逼真。2 无几何信息的IBR 绘制无几何信息的IBR 绘制方法都是基于全光函数及其变形的。早期的全光函数(PlenOptic Function)是由Adelson 和Bergen 命名的，简单的讲它描述了构成场景的所有可能的环境映照（Environment map）。若记录光线的照相机的位置为(Vx,Vy,Vz)，光线的方向为(θ,Ф)，光波波长为λ，光强随时间t 变化，则全光函数可以表示为：P7=P(Vx,Vy,Vz,θ,Ф,λ,t)在上式中， 场景内的所有光线构成了一个全光函数。基于此，IBR 技术可以归结为以离散的样本图。像重构连续的全光函数的过程，即采样、重建和重采样过程。表1 给出了在各种对视域假定和限制情况下7D 的全光函数被简化为从6D 到2D的各种形式， 以及一些文中提到的有代表性表示方法。2.1 全光模型（PlenOptic Modeling）McMillian 和Bishop 在文献[7]中对全光函数做了简化，假设场景的光波不变，且场景不随时间发生变化， 则可以忽略场景的波长λ 和时间参数t，全光函数从而简化为5 维函数，即：P5=P(Vx,Vy,Vz,θ,Ф)这是一个柱面全景图的集合，这种表示在所有五维上都存在大量的冗余，而且方法中没有解决立体对应的问题。有关5D 全光函数其他的应用实例可见文献[2]中。2.2 光场（Light Field）和光亮度（Lumigraph）绘制Light Field 和Lumigraph 的研究表明，若我们在包围场景的一个包围盒外对场景进行观察，且场景中的每一个矢量方向只存在一根光线（即场景无遮挡），则5D 的全光函数可以简化为4D 的光场函数：P4=P(u,v,s,t)上式中(u,v)和(s,t)是两个参数化的平面，若场景的包围盒是一个6 面体，则我们需要6 组这样的参数化平面表示场景的所有光线。在Light Field 系统中，为了得到均匀的采样图像，他们采用了专门的装置来采集图像样本，同时为了减少绘制的走样，图像数据预先进行了滤波处理。这Lumigraph 的绘制利用了场景的部分几何信息，因此它不需要专门的图像采集装置，从而减少了场景的采样密度。两种方法的缺点是只解决了没有遮挡的、光照固定的、静态对象的表示及绘制问题，而没有解决完全的虚拟环境漫游。2.3 面全光函数(The surface plenoptic function-SPF)SPF 首先在文献[3]中被提出，Cha 等分析了IBR 绘制中的光谱特性，观察全光函数的生成，很明显，自由空间中的每一条光线都有个光源。可能是像太阳那样的某个发光体发出来的，也可能是被物体阻挡反射的。如果物体是透明的，还会有折射现象。2.4 同心拼图(Concentric Mosaics)文献[4]中Shum 等把照相机固定在一个圆轨迹上运动，照相机光心朝外，从而得到3D 形式的全光函数，我们称之为同心拼图。光场(Light Fields) 技术把全光函数缩小到了4D 表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术有效的解决了这些问题，使得数据采集变得非常简便，并且是以3D 的形式表达，从而提供了很好的应用前景。Sun 等在文献[5]中，设计了一个简化的同