视频语义物体的分割和跟踪.pdfVIP

视频语义物体的分割与跟踪 曹翔徐光祜 清华大学计算机系人机交互与媒体集成研究所，北京100084 摘要：提出并实现了一个对视额序列中的语义物体进行分割和跟踪的系统，从视巅序列 的各帧中提取所关注枷体的轮廓．流程分两个步骤：初始帧的物体分割和后续帧的抽体跟 踪．在手工勾画和修正算法帮助下，获得初始帧中所关注物体的轮廓；应用光漉估计预测 出下一帧中谊新体的轮廓，并对其施以修正，获得后一帧物体的真实轮廓．依此类推，提 取出后续各帧中物体．本文提出了多分辨率分水岭修正算法，具有令人满意的修正足度和 准璃性，在多数情况下可以取代运动估计． 关键词：分制，罪踪，运动估计，轮廓修正，多分辨率分水岭方法，光流估计 1 引言 视频语义物体是指视频中具有物理意义的一个买体，例如人脸、汽车、建筑等，它对 应于现实世界中的某个物体，是视频信息的基本语义单位。对视频语义物体的抽取是视频 信息理解的前提。但鉴于物体自身的复杂性，目前采用基于颜色、运动或二者结合的方法， 都不能够完全自主的完成抽取，其主要问题在于计算机不能够真正理解物体的含义，而在 通用性的要求下。过多先验知识是不被允许的。因此，较为现实的方案是结合人工指导和 计算机运算，由人进行计算机难于完成的物体范围的埘定工作，使其获知物体的大概概念； 而对于计算机能够较好的进行的工作，如物体边界的准确提取、物体运动估计和对既定物 体的跟踪，由系统自主完成。前人如onangGu＆Ming_chj曲LeeIl】等基于这一思想作了 —些有益的工作。本文亦从该思想出发，构建了一个物体分割与跟踪系统，完成在较少人 工指导的条件下，对完整的视频序列中感兴趣物体的分割和跟踪，并提出了多分辨率的分 水蛉修正算法。 本文第2节简单描述基本工作流程；第3节介绍初始帧物体分割的机理并一连多分辨 率分水岭算法的思想和性能；第4节介绍后续帧物体跟踪的机制；第5节描述对系统流程 的改进；第6节总结实验结果并讨论。 2基本流程 根据有无人工指导的区别，流程可被分为有指导的初始帧(I．帧)分期和无指导的后 续赣(P-帧)跟踪爵个步骤。初始帧分割中，由用户在初始帧中勾嘶出所关注物体的大致 轮奔，并应用多分辨率分水岭修正算法对其进行修正，得蓟物体的初始轮廓。此后，在整 个视囊序列中对该物体进行跟踪，即对每一帧，根据前一杖的物体形状和帧间运动信息， 做出本帧中物体轮廓的估计，并对其进行修正，获得物体的糖确轮廓。本文采用Ihn． ·34。 Schnk法光流估算完成运动估计，修正算法依然采用初始帧分割中使用的多分辨率分水岭 算法。第5节将陈述，基于修正算法的性能和提高速度的考虑，实际流程将在此基础上加 以优化。 3初始帻分割与多分辨率分水岭修正算法 初蛔杖分胡包括人工勾画和算法修正两个步骤。人工勾画即用鼠标在初始帧图像上依 次点出各关键点。关键点联成的闭合多边形即为人勾出的物体大致轮廓BjlIit，然后对该轮 廓进行修正得甍勃体精确轮廓B。 3．1簟级分槭修正算法 本文修正算法的基本思想是：鉴于待修正轮廓BilIit与物体真实轮廓B相差不会太大， 对BiIIit作一定尺度的腐蚀与膨胀，腐蚀所得结果称作“内”轮廓Bin，膨胀所得结果蒋作 “外”轮廓Bout。选择恰当的腐蚀膨胀尺度，则有理由相信，物体真实轮廓B就落在B妯 和B0ut之间：Bin以内的像素必位于物体内部，胁t以外的像素必位于物体外部，而对物 体边界的确定就转化为分别以B．m和BOVt上的点为聚类中心，对B缸与踟ut之间像素的 分类问题，且此前所作腐蚀与膨胀的尺度就是该修正算法的最大修正尺度。 在视频中，物体的基本性质之一是空间上的连续性，为体现这一连续性，选择分水岭 方法进行像素的分类，较之近邻法等独立考虑各像素的分类方法具有较大的优越性。其基 本思想是：对于若干空间上互不接触的聚类中心．根据一定的原则(相似度或阈值)使它 们在空间上逐渐扩展．直到其边界互相接触，即完成了对它们之间点的分类，接触线即为 分界线。基于灰度阈值的分承蛉方法被广泛运用于图像区域自动分割问题中，雨针对本文 的问题，基于颜色似度的分水岭方法表现出良好的性能。 分水岭方法运用于本文问题的 具体过程如下： i．由8讯i￡俸魄蚀s黪强．褥韵8讯和Bom．它们选强是鼹个聚类韵初始边界： t 2．对当前聚类边界上的每—个点tB分类1．分鄹计算它与其糨邻