深度学习与计算机视觉实战-图像分割.pptx

图像分割;;图像分割算法的分类基础不统一。在选择分割算法时，很大程度上取决于待分割图像的形状、像素分布特征和是否含有特定区域或其他影响分割的因素（如噪声和纹理）。

国内外广泛使用的图像分割方法主要分为阈值分割、聚类分割、深度学习分割等，阈值分割如Otsu大津法，聚类分割如Meanshift聚类法，深度学习分割如Deeplabv3、U-Net、MaskR-CNN等方法。

深度学习分割法可以细分为：

语义分割：指将分属不同物体类别的像素区域分开，并分类出每一块区域的语义

实例分割：指在语义分割的基础上，对每个物体编号

;语义分割是对一幅图像中同一个类别的像素进行分割，如下图（b）所示，而实例分割是对一幅图像中同类像素的不同实例对象进行分割，如下图（c）所示，原图如下图（a）所示。

;基于深度学习图像语义分割的卷积神经网络可以简化为编码器-解码器的网络结构。

编码器是一个分类网络，通常用来进行训练；

解码器在编码器之后，将编码器训练学习到的特征进行映射，以便得到相对应的分类。

实例分割则是在语义分割和目标检测的基础上对每个物体进行具体的分割。;常用的语义分割包括：

基于区域的语义分割

全卷积神经网络语义分割

弱监督语义分割

实例分割包括：

基于语义分割的方法

基于目标检测的方法

;对从图像中提取的区域进行描述和分类。

首先通过选择性有哪些信誉好的足球投注网站提取目标区域。

然后用分类器对每个区域的特征进行划分，达到对每个区域进行分类的目的。

与传统图像分割相比，基于区域的语义分割方法把全区域特征和前景特征连接在一起，因此能够应对更复杂的分割任务，获得更好的性能。

但是由于基于区域的语义分割算法提取的特征包含的空间信息不足，导致分割边界精度受到极大影响，同时算法耗时较长，降低了语义分割的效率。;全卷积神经网络语义分割与基于区域的语义分割的区别：它没有对区域特征进行提取和分类，而是创建像素到像素的映射。

卷积神经网络的全连接层决定网络只能接收固定尺寸的输入，以及输出固定尺寸的预测结果。

而全卷积神经网络是经典卷积神经网络的延伸和扩展，用卷积层替换全连接层，使网络可以接收任意尺寸的输入并实现像素级预测。

全卷积神经网络的连续卷积和池化使得输出特征分辨率较低，同时像素与像素之间联系不够紧密，导致空间一致性弱。空间一致性是指图像中的某个点有较大的概率与周围邻域中的点具有相同类别属性。;语义分割通常需要大量的数据，包括原始图像和相对应的像素级标签。

手动对图像进行标注耗时长、成本高，导致某些场景的语义分割难以实现。

弱监督语义分割同样通过使用带标注的边界框进行训练，但是这种标注无须达到像素级，因此比对原始图像进行像素级标注更容易。

弱监督语义分割的应用场景更广阔，但是由于弱监督语义分割的理论还不够完善，和通常所说的语义分割还具有一定的差距。;实例分割兼具语义分割和目标检测的特点，按照解决思路分为：

基于语义分割的Bottom-Up

基于目标检测的Top-Down方法

基于语义分割的Bottom-Up方法是通过阶段语义分割实现分割对象的实例化。DeepMask实例分割算法如下图所示，总共有3个阶段，第1个阶段实现图像前景和背景的分割，第2个阶段实现前景的语义分割，第3个阶段实现前景的实例分割和目标识别。

;基于目标检测的Top-Down方法则是先通过目标检测找出具体的实例对象，然后将具体的对象区域进行图像分割，从而实现图像分割，如MaskR-CNN、SOLO等方法。

目前比较主流的实例分割算法为基于目标检测的Top-Down方法。

相比较而言，不论是精度还是速度，基于目标检测的Top-Down方法普遍比基于语义分割的Bottom-Up方法表现更好。

;;图像分割算法发展至今已有许多经典方法，语义分割领域有FCN、U-Net、Deeplabv3等方法，实例分割有DeepMask、MaskR-CNN、SOLO等方法。本节选取其中比较有代表性的Deeplabv3+和MaskR-CNN进行深入讲解。

卷积神经网络通过卷积不断降采样，对图像进行特征编码，然后通过转置卷积对卷积生成的特征图进行上采样，对特征图实现特征解码，再经过编码-解码的过程后，得到一幅新的分割图像，如下图所示。

;其中转置卷积也称为反卷积，是使用较多的一种特征图尺寸恢复技术，其前向运算过程也是卷积操作的反向运算过程。需要注意的是，转置卷积并不是卷积的完全逆运算。

反卷积技术能够像卷积运算一样自主学习网络模型的参数值，训练过程中也会消除一些冗余信息，能够弥补上采样或插值算法无法自主学习的缺点。

正常卷积过程如下图（a）所示，转置卷积过程如下图（b）所示。;在语义分割的领域，网络结构的模式都是大同小异的，基本遵循编码-解码的思路。

首先通过卷积操作获取语义特征信息，图像分辨率越来越小；

然后使用反卷积操作