若干关于图像与频的编辑与合成技术的研究.pdf

摘 要 随着数字技术的发展，数字图像与视频在工业自动化、影视后期制作等领域，逐 渐得到了广泛的应用。图像和视频的编辑与合成是图像和视频处理的一项重要技术， 而传统的图像和视频的编辑与合成方法是相互之间彼此独立的处理过程，且需要人 工利用多种设备进行大量的繁复操作。近年来，抠图(matting)、颜色转移和匹配以 及前景消除等图像和视频的编辑与合成技术得到了广泛的研究和应用，并在多种应 用中取得了一定良好的效果，但这些方法只是提供了初步的解决思路，仍然无法普遍 适应地处理具有各种特征的图像和视频。 传统的图像和视频编辑工作主要目的是由用户从大量的图像和视频片断中寻找 合适的部分进行手工裁剪和拼接的直接操作。虽然近年提出的抠图(matting)技术 可以精细地处理每帧图像的内容，并可以描述后续的合成过程，但这种方法需要采用 某些额外的处理来粗略确定源图像中的前景区域或背景区域，以构造下一步合成工 作的材料；而传统的颜色匹配过程则完全需要经验丰富的美术师来手工对每一幅图 像或视频中的帧进行色调、亮度等参数的调整，尽管基于数字设备的颜色匹配处理 可以完成整体性的色调拟合，但只能针对包含单一场景的图像进行处理；传统的前 景消除是电影后期处理中的一个重要手段，主要由美术师手工来逐帧完成，尽管一些 技术可以针对特定的前景进行半自动的移除处理，但是有受前景特征影响的局限性。 因此，作为当前研究的热点，图像与视频的抠图、颜色匹配、前景移除等技术仍然需 要进一步的改进和提高，其处理的效率和效果对图像和视频编辑与融合在各领域的 应用有十分重要的意义。 本文面向影视后期制作和家庭视频娱乐等应用领域，对图像和视频的抠 图(matting)、颜色转移和匹配以及前景消除等技术在特定领域的应用展开研 究，试图减少用户的交互操作量，同时保证高质量的图像和视频编辑和生成效果。为 此，本文进行研究和探索的方面包括：一、降雨和降雪环境下视频的雨雪前景移除； 二、研究便捷的抠图方式，探讨利用附加信息对不连续区域的半透明前景对象进行抠 图的方法；三、探索便捷的层次化结构的颜色匹配技术，使得用户可以方便地校正图 像和视频局部区域的颜色属性。 基于上述目标，本文主要的研究工作包括了如下的内容： 一、提出了一种基于时间滤波器的视频中降雨和降雪前景移除的方法。通过分 析降雨和降雪环境所具有的独特光学特征，可以发现视频中的雨雪总是具有显著超 摘要 ii 过背景的亮度，同时，雨雪在空间中的分布具有广义静态的特性。基于这两个基本事 实，我们提出了利用时间滤波器在时间轴上来寻找视频中非雨雪场景的互补信息的 方法。这种方法关键在于设计对亮度敏感的时间滤波器形式以及时间滤波器所需的 滤波周期长度，为了进一步保证时间滤波器的处理效果，必要的滤波处理效果评价标 准也是算法设计的一个部分。因此，时间滤波器形式、滤波周期确定方法、滤波效果 评价标准是这一工作的三个组成部分，而这三个部分也构成了视频中雨雪移除处理 过程的三个步骤。 二、提出了一种基于附加信息的抠图(informed matting)方法。现有的抠图方法 很少考虑视频中不连续区域的处理，基于降雪视频环境的光学特征，我们提出了一种 利用额外背景信息进行降雪类半透明对象抠图处理的方法。降雪环境的视频可以获 得移除雪花前景后的背景信息，这一附加信息可以提供降雪前景在视频中区别于背 景的突出特征。我们通过在闭形式抠图算法中加入对背景信息的处理来获得对抠图 过程的附加约束，使得闭形式抠图方法简化了求解过程中的未知量。进一步地，利用 视频中背景与前景的梯度差异来指导对雪花形成的不连续区域进行自动的三分图构 造，从而实现了闭形式解抠图的方法在降雪视频中对雪花前景的抠图处理。 三、提出了一种基于层次化结构的颜色匹配方法。现有的颜色匹配方法大多是 对图像进行整体性的颜色分布测量，对场景组成复杂的图像之间的颜色匹配常会出 现颜色扭曲的现象，而复杂场景图像的构成显然是由多个成分较单一的区域组成的， 因而对复杂图像进行区域分解后再进行区域间颜色匹配是一个合理的处理方式。我 们利用层次化分割对图像进行区域分割并形成具有层次化结构的树状结构，通过定 义树状结构之间的构成形式，对颜色匹配图像之间的区域特征相似性进行比较，以寻 找目标图像与参考图像局部匹配的最佳区域。在此基础上，我们利用颜色概率分布转