神经网络与深度学习第13章基于深度学习的语义分割算法.pptx

深度学习之语义分割--SEMANTICSEGMENTATIONINDEEPLEARNING主讲人：王改华湖北工业大学电气学院自动化系电话mail

计算机视觉三大任务：（1）图像分类（2）目标检测（3）图像分割

图像分类常规的图像分类深度卷积神经网络拥有相似的结构。这些模型以图像作为输入，并输出一个代表图像类别的数值。通常，分类深度卷积神经网络有4种主要运算：卷积、激活函数、池化以及全连接层。传递一张图片，通过一系列这些运算输出一个包含每个类别标签的概率的特征向量。在这种设定下，我们是对图片的整体进行分类。也就是说，为一张图像分配一个标签。

语义分割（SemanticSegmentation）语义分割是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。右图为语义分割的一个实例，其目标是预测出图像中每一个像素的类标签。

与实例分割的区别语义分割没有分离同一类的实例，我们关心的只是每个像素的类别，如果输入对象中有两个相同类别的对象，则分割本身不将他们区分为单独的对象。语义分割与实例分割的区别。(左)相同的目标，相同的类别（语义分割）。(右)虽然它们是相同的目标，但它们被分类为不同的目标（实例分割）。

语义分割（SemanticSegmentation)简单来说，分割的目标一般是将一张RGB图像（height*width*3）或是灰度图（height*width*1）作为输入，输出的是分割图，其中每一个像素包含了其类别的标签（height*width*1）。为了清晰起见，使用了低分辨率的预测图，但实际上分割图的分辨率应与原始输入的分辨率相匹配。

语义分割（SemanticSegmentation）

one-hot编码One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。onehot编码是将类别变量转换为机器学习算法易于利用的一种形式的过程。

one-hot编码过程详解一、比如我们要对“helloworld”进行one-hot编码1.确定要编码的对象--helloworld2.确定分类变量--hello空格world，共27种类别（26个小写字母+空格，）3.以上问题就相当于：有11个样本，每个样本有27个特征，将其转化为二进制向量表示因此我们必须要事先约定特征排列的顺序：1、27种特征首先进行整数编码：a--0，b--1，c--2，......，z--25，空格--262、27种特征按照整数编码的大小从前往后排列得到的one-hot编码如下：

one-hot编码二、我们要对[中国,美国,日本]进行one-hot编码1.确定要编码的对象--[“中国”,“美国”,“日本”]；2.确定分类变量--中国美国日本，共3种类别；3.以上问题就相当于，有3个样本，每个样本有3个特征，将其转化为二进制向量表示。我们首先进行特征的整数编码：中国--0，美国--1，日本--2，并将特征按照从小到大排列，得到one-hot编码如下：[中国,美国,日本]---[[1,0,0],[0,1,0],[0,0,1]]one-hot编码的缺陷：one-hot编码要求每个类别之间相互独立，如果之间存在某种连续型的关系，或许使用distributedrespresentation（分布式）更加合适。

将每个深度方向像素矢量折叠成分割图，将它覆盖在原图上，它会照亮图像中存在特定类的区域，以便观测（mask）。语义分割（SemanticSegmentation）

自动驾驶医疗影像地理信息应用领域

自动驾驶无人车驾驶：语义分割也是无人车驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。

医疗影像分析:随着人工智能的崛起，将神经网络与医疗诊断结合也成为研究热点，智能医疗研究逐渐成熟。在智能医疗领域，语义分割主要应用有肿瘤图像分割，龋齿诊断等。(上图分别是龋齿诊断，头部CT扫描紧急护理诊断辅助和肺癌诊断辅助）。医疗影像

地理信息系统：可以通过训练神经网络让机器输入卫星遥感影像，自动识别道路，河流，庄稼，建筑物等，并且对图像中每个像素进行标注。（