数字视频图像处理与通信 教学课件 刘富强 王新红 宋春林 陈康力第5_6章 第6 视频分割理论与方法.ppt

第6章视频分割理论与方法 目录 6.1 视频分割的相关概念 6.2 视频分割的基本理论 6.3 视频分割技术 6.4 视频分割算法的性能评价标准 发展背景 1999年，运动图像专家组（Moving Pictures Experts Group，MPEG）公布了基于对象的多媒体数据压缩编码标准——MPEG-4，次年，MPEG-4成为国际标准。 要实现该标准所提出的面向对象的压缩、检索和编辑等交互操作，首先必须能够精确地获取视频对象，这就需要对视频对象分割提取技术进行深入研究。因此，视频对象分割技术成为多媒体领域的研究热点 6.1 视频分割的相关概念 6.1.1 视频分割的定义 6.1.2 视频分割的研究和应用现状 6.1.1 视频分割的定义 从语义信息的角度分析，视频是由大量场景组成的，每个场景由一个或多个镜头组成，而镜头是由一系列的帧组成的，如图所示。 6.1.1 视频分割的定义 视频对象分割就是把视频序列中（通常是一个镜头）人们感兴趣的或者具有某种重要特性的一个或多个视频对象从视频场景中提取出来。这些对象通常在某些方面具有属性的相似性，如亮度、色彩、纹理及运动特征等。 在MPEG-4标准中，视频对象分割又称为视频对象平面分割，即将每个视频帧都分割成若干个视频对象平面（Video Object Plane，VOP） 6.1.2 视频分割的研究和应用现状 1. 视频分割技术在视频监控方面的应用 视频监控技术极大地改变了人们的工作和生活方式，提高了相关领域的自动化程度，在工作效率、资源利用及安全性方面发挥了重要作用。 1）公路智能交通系统 2）轨道交通系统 3）视频监控系统 6.1.2 视频分割的研究和应用现状 2.视频分割技术在视频编码领域方面的研究 为了表示用户感兴趣的区域 ，MPEG-4标准提出了视频对象的概念，其编码是基于对象的，由此，对比特率控制可以基于对象。 为了实现高效压缩，每个视频对象用三类信息来描述：运动信息、形状信息、纹理信息，再根据这些信息完成视频的编码和解码。 6.1.2 视频分割的研究和应用现状 MPEG-4在编码过程中针对不同的视频对象采用不同的编码策略，即对前景视频对象的压缩编码尽可能保留其细节和平滑，对背景视频对象采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成 。 （1）形状编码 （2）运动编码 （3）纹理编码 MPEG-4对象及编码结构 6.1.2 视频分割的研究和应用现状 3. MPEG-4的视频解码结构 MPEG-4的解码结构也是基于对象的形状、运动和纹理信息的。 6.1.2 视频分割的研究和应用现状 4.视频对象分割技术的研究 目前国内外在研究视频处理方面有多种研究思路，均沿着对视频内容的语义理解的方向进行 在视频分割算法领域中，大多数算法采用时空联合分割。 早期的视频研究主要集中在使用视频特征对视频进行分割、分类和归纳。近几年来，视频研究人员已经意识到音频特征在视频内容语义分析中是非常重要的。 6.2 视频分割的基本理论 6.2.1 视频分割的框架 6.2.2 视频对象分割方法的分类 6.2.1 视频分割的框架 在MPEG-4的早期阶段，MPEG试图为视频序列中的运动对象分割制定一种标准算法框架。一种时空联合分割方案被采纳为MPEG-4的自动视频对象分割工具，该方案包含三个基本算法：时域分割算法、空间域分割算法和时空联合分割算法。 时域分割算法主要用来检测和分割物体的运动边缘，空间域分割算法利用特定的判决原则将图像分割成区域集合，时空联合分割算法结合了时域分割和空间域分割的优点，算法框架如图所示 6.2.1 视频分割的框架 6.2.2 视频对象分割方法的分类 视频对象的分割方法繁多，其分类方法各异，大多数分类方法是模糊的或不完整的。常见的分类方法有如下几种： 1.按照是否需要人工参与分割过程 2.根据视频分割过程中所利用信息的不同 3.根据视频是否以压缩形式提供 4.根据用途不同 6.3视频分割技术 6.3.1 空间域分割技术 6.3.2 时域分割技术 6.3.3 时空联合分割技术 6.3.1 空间域分割技术 空间域分割可以在某种程度上认为是视频帧内的分割，即图像分割。基于空间域的分割技术主要利用图像本身的纹理、颜色等信息将图像分割为有意义的区域集合，这些区域之间通常具有明显的边界。 分水岭算法是一种基于数学形态学的图像分割算法，也是一种基于区域的图像分割方法。 1.分水岭的概念 分水岭的概念是以对图像进行三维可视化处理为基础的，其中两维是坐标，另一个是灰度级。对于这样一种“地形学”的解释，我们考虑三类点： 1）属于局部性最小值的点。 2）当一滴水放在某点的位置上的时候，水一定会下落到一个单一的最小值点。 3）当水