深度学习及自动驾驶应用 课件 第6章 基于CNN的自动驾驶场景语义分割理论与实践.pptx

Chapter6基于CNN的自动驾驶场景语义分割理论与实践第六章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页6.4DeepLab系列6.1图像分割概述6.3U-Net/Seg-Net6.2FCN全卷积神经网络6.5图卷积网络方法目录Content6.6自动驾驶图像分割技术应用及案例介绍6.7实践项目

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页6.1图像分割概述本节内容：

（1）图像分割的基本介绍

（2）图像分割的发展

（3）数据格式与评估指标

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第4页图像分割的基本介绍把图像按照一定规则分割成“有意义”的多个区域的技术叫做图像分割，图像分割是计算机视觉领域里一项重要的基础技术。与目标检测不同，目标检测的最终输出是“输入的图像里面有哪些我关心的目标”，以及其所在的矩形范围；而图像分割的最终输出是一幅图片的逐像素的分类结果，其类别数量更多，不同类别的物体之间位置要求精确到像素。因此，图像分割对于类别数、位置精确度的要求更高，模型更复杂。根据任务和输入数据类型的不同，图像分割可以细化为以下三种具体任务：语义分割、实例分割、全景分割

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第5页图像分割的发展语义分割是图像分割方法的基础，实例分割、全景分割在某种程度上其实是语义分割与目标检测算法融合的应用。因此，本章接下来所说的图像分割与图像分割方法，若无特殊说明，均指语义分割和语义分割方法。图像分割算法与目标检测算法一样，存在着传统图像分割算法与基于深度学习的图像分割算法两大类，如右图所示

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第6页数据格式与评估指标与目标检测任务相同，图像分割任务主流的数据格式仍然是PASCALVOC格式和COCO格式。这两种数据集都被广泛应用于图像分类、目标检测、图像分割任务中。评价一个图像分割算法的好坏，常用两个指标：mIoU（meanIntersectionoverUnion，平均交并比）和mAcc（meanAccuracy，平均准确率）。指标mAcc表征的是预测结果与真实结果之间的差距。由于图像分割任务通常是逐像素的分类问题，因此该值计算的是图像上类别预测正确的像素数量占图像像素总数的比率。mAcc越大，说明越多的像素被正确预测，预测的准确性越高。

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第7页评价指标mIoU指标mIoU表征的是图像上所有类别的交并比的总和，此处IoU的概念与第五章相同，都是某一类的预测区域与真实区域所占面积的比值如下图所示，左边是图像分割的真实值，右边是图像分割输出的预测值。对于右图中每一个类别分别求IoU，再求平均数，即为mIoU。mIoU越大，说明每个类别都被较好的预测，预测的准确性越好。

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第8页6.2FCN全卷积神经网络本节内容：

（1）FCN网络结构

（2）上采样过程

（3）特征融合

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第9页SDS方法（基于DCNN）在FCN提出之前，便已经有了一系列图像分割的DCNN算法，如SDS方法（SimultaneousDetectionandSegmentation，协同检测和分割），其利用RCN网络框架对网络参数进行训练，抽取输入图片中的多个“似物性推荐区域（proposal）”，保留与人工标注区域交叉的部分作为前景区域，根据每个proposal的类别信息进行训练，得到了用于图像分割的DCNN。SDS整体上的架构为：MCG+AlexNet+SVM+NMS。

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第10页FCN网络结构FCN网络即全卷积神经网络（FullyConvolutionalNetworks），FCN网络的结构右图所示。FCN与DCNN的区别在于，FCN中没有全连接层（FC层）。由于仅有卷积层，输出的是特征图。FCN中对于FC的处理是，使用C个通道的1×1的卷积核对FC层进行替换（1×1卷积核的作用在于，不改变输入的长