深度视频预处理方法的设计和实现【开题报告】.doc

毕业设计开题报告 电子信息科学与技术 深度视频预处理方法的设计和实现 一、选题的背景与意义 随着宽带网络技术的不断发展和多媒体技术的不断进步，人们对多媒体应用的期盼也越来越高，传统的二维视频已无法满足人们日益增长的观看需求。自由视点视频(FVV, Free Viewpoint Video)系统是当前先进视觉媒体模式。FVV系统能让人们通过自由选择视点欣赏场景体验到身临其境的感觉。因而，这种媒体模式在教育培训、娱乐、交通、银行、医疗和文化遗产保护等领域具有非常广阔的应用前景和巨大的市场价值。通常情况下，一个自由视点视频系统从逻辑结构上分为服务器端和用户端两个部分。在服务器端，利用多个相机对同一场景进行采集而得到多路视频信号，并且完成多视点视频的压缩编码。多视点视频编码（Multiview Video coding MVC）是新一代多媒体的技术核心之一，也是现阶段多媒体领域的研究热点之一。压缩后的多视点视频码流通过网络传送到用户端用于自由视频的显示。 目前，两大国际标准化组织ISO的MPEG和ITU的VCEG组成的联合视频专家组(JVT, Joint Video Team)制定的FVV标准草案里采用多视点彩色视频和深度视频(MVD, Multiview Video plus Depth)来表示3D场景和实现FVV系统。基于MVD的FVV系统可以采用基于深度的绘制技术把有限个实际视点视频扩展到无限个虚拟视点，实现视点间的平滑过渡。 在基于MVD的FVV系统中，由于深度多视点数据的数据量和相机的数量正比。与单通道视频信号相比，MVD有着非常大的数据量。因而，多视点视频的压缩编码是一项关键技术，直接影响到FVV信号能否进入到实际应用领域。在基于MVD的FVV系统中，深度视频信号一般由服务器端传送给用户端，进而降低用户端的接受设备的生产成本。因为，用户端的设备一般不具备很强的计算能力，深度不适合在用户端通过深度估计产生。即深度视频需要在服务端采集得到。深度信息可以通过深度相机采集或者通过深度估计程序来获得。由于深度相机价格昂贵，目前深度视频序列一般是通过深度估计而得到。在MVD信号中，从理论上讲，深度视频只需要普通彩色视频的10%－20%的码流就可以获得较高的图像质量。但是，通过深度估计或者通过深度相机而得到的深度视频在时间相关性比对应彩色视频差，因而不能获得很好的压缩性能。很难达到理论上的压缩效果，因此深度视频需要考虑时间上相关性的影响。本课题研究的是关于深度视频预处理的设计与实现。 研究的基本内容, 拟解决的主要问题 2.1 研究的基本内容 基于MVD数据表达方式的FVV系统结构主要包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。本课题主要研究的是在了解深度视频特性的基础上，将视频进行预处理，从而解决深度视频在时间上相关性比较弱的情况。然后再对它进行编码，得到我们所需的结果。 2.1.1 深度视频的特性分析 在多视点彩色视频和对应深度视频信号中，深度视频代表的是对应彩色视频场景到摄像机成像平面的距离信息，它将实际距离值量化到[0，255]。然而,由相机获取或者软件估计的深度视频不是很准确。比如，同一彩色视频序列的不同帧中内容不变的区域，这些区域的深度值应当是固定不变的。然而，在对应深度视频序列中，这些区域的深度值却是变化的。 深度视频在在时间轴上内容和对应彩色视频相比，具有更多的不一致性。这种特点直接导致了深度视频序列在时间方向比对应的彩色视频的相关性弱。由于在多视点视频中，大多数序列都是时间方向的相关性强于视点间的相关性，所以在多视点视频编码中，采用大量的以时间参考为主的预测编码结构。因此，利用这些编码结构对深度视频进行编码时，深度视频在时间上比彩色视频较弱的相关性会大大地影响编码效率。 2.1.2 深度视频信号的获取 深度图获取主要有两种方式：1）通过深度相机获取；2）通过视差估计得到视差图，进而转换得到深度图。通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。 2.1.3 视频预处理 由于深度视频序列在时间上内容的不一致而导致了较弱的相关性。因此，为了提高深度视频的编码效率，需要对深度视频在编码之前进行预处理，增强在其时间上的一致性。视频主要是由图像形成的，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限